【杭州網(wǎng)站建設(shè)】 大規(guī)模存儲(chǔ)的未來——內(nèi)存云?
分享 2011.08.02 瀏覽次數(shù):6964次
Tcl/Tk的創(chuàng)始人、美國(guó)工程院院士、ACM Fellow John Ousterhout目前在斯坦福大學(xué)任教,他近年來的主要研究項(xiàng)目是RAMCloud——內(nèi)存云。顧名思義,RAMCloud就是這樣一種新型數(shù)據(jù)中心存儲(chǔ)系統(tǒng),它是由成千上萬(wàn)臺(tái)普通服務(wù)器的主存所組成的大規(guī)模系統(tǒng),任何時(shí)候,所有信息都存儲(chǔ)在這些快速的DRAM(動(dòng)態(tài)隨機(jī)訪問存儲(chǔ)器,即俗稱的內(nèi)存)中,內(nèi)存取代了傳統(tǒng)系統(tǒng)中的硬盤,硬盤只作為備份使用。
內(nèi)存云由此能同時(shí)實(shí)現(xiàn)大規(guī)模 (100~1000 TB) 和低延遲(同一數(shù)據(jù)中心應(yīng)用程序訪問少量?jī)?nèi)存云數(shù)據(jù)只需5~10ms,比目前系統(tǒng)快100~1000倍)。內(nèi)存云不僅會(huì)簡(jiǎn)化大型Web應(yīng)用的開發(fā),而且,將催生新的數(shù)據(jù)密集型應(yīng)用。
最新出版的《ACM通信》(Communications of ACM)2011年8月刊發(fā)表了Ousterhout與他的團(tuán)隊(duì)合作撰寫的論文“The Case for RAMCloud”
在過去四十年,磁盤已經(jīng)成為計(jì)算機(jī)系統(tǒng)網(wǎng)上信息的主要存儲(chǔ)位置。
在此期間,磁盤技術(shù)已經(jīng)發(fā)生了顯著改善,由更高級(jí)別的存儲(chǔ)系統(tǒng)(如文件系統(tǒng)和關(guān)系數(shù)據(jù)庫(kù))利用。但是磁盤性能卻并沒有像磁盤容量那樣有所改變。一個(gè)不容忽視的現(xiàn)實(shí)擺在了面前——技術(shù)人員發(fā)現(xiàn)基于磁盤的系統(tǒng)越來越難以形成規(guī)模以滿足大型Web應(yīng)用程序的需要。
許多計(jì)算機(jī)科學(xué)家們提出了新的基于磁盤存儲(chǔ)的解決方案,以及其他建議更換磁碟與快閃記憶體裝置。相比之下,我們說的解決方案是基本想法就是將在線數(shù)據(jù)從磁盤遷移到DRAM上,從而在磁盤之上創(chuàng)建一種新式存儲(chǔ)。
這時(shí),一個(gè)被稱為“RAMCloud”新的存儲(chǔ)方式將為未來許多應(yīng)用提供新的存儲(chǔ)架構(gòu)。
什么是RAMCloud?
RAMCloud架構(gòu)的原理在于將存儲(chǔ)所有商業(yè)服務(wù)器的信息在主存儲(chǔ)器上,并使用數(shù)百上千的服務(wù)器創(chuàng)建大型存儲(chǔ)系統(tǒng)。據(jù)稱,存儲(chǔ)在RAMCloud上的數(shù)據(jù)的延遲要比存儲(chǔ)在基于硬盤的系統(tǒng)上低100-1000倍,而吞吐量則會(huì)高100-1000倍。
雖然個(gè)體存儲(chǔ)容易改變,但RAMCloud可以利用復(fù)制和備份技術(shù)以保障數(shù)據(jù)的耐久性和可用性,就像傳統(tǒng)基于磁盤的系統(tǒng)那樣。
RAMCloud可提供低延遲和大規(guī)模,并將從以下三點(diǎn)改變存儲(chǔ)行業(yè)的現(xiàn)狀。首先,RAMCloud會(huì)消除開發(fā)大規(guī)模Web應(yīng)用所面臨的可擴(kuò)展性問題。其次將啟用新的應(yīng)用類,比當(dāng)今深入100-1000倍操作數(shù)據(jù)將成為可能;RAMCloud集群可以支持單個(gè)的代謝那個(gè)程序或許多較小的應(yīng)用程序,并可在小型應(yīng)用轉(zhuǎn)變?yōu)榇笮蛻?yīng)用的開發(fā)時(shí)保證沒有額外的復(fù)雜性。
RAMCloud的架構(gòu)原理
1、在RAMCloud架構(gòu)中,大量服務(wù)器組成的數(shù)據(jù)中心可分為兩類:應(yīng)用服務(wù)器,實(shí)現(xiàn)應(yīng)用程序的邏輯(如生成Web網(wǎng)頁(yè)和執(zhí)行業(yè)務(wù)規(guī)則)和存儲(chǔ)服務(wù)器,提供較長(zhǎng)的共享應(yīng)用服務(wù)器存儲(chǔ)。
2、RAMCloud代表系統(tǒng)存儲(chǔ)組織服務(wù)器的一種新方式,有兩個(gè)關(guān)鍵的區(qū)別區(qū)分RAMCloud和傳統(tǒng)存儲(chǔ)系統(tǒng)。首先,所有信息在任何時(shí)候都保存在RAMCloud;其次,RAMCloud必須建立在一定規(guī)模(數(shù)以千計(jì))存儲(chǔ)服務(wù)器上。對(duì)于應(yīng)用程序,獨(dú)立于存儲(chǔ)服務(wù)器的單一存儲(chǔ)系統(tǒng)的實(shí)際數(shù)量是可見的。
3、RAMCloud存儲(chǔ)的信息必須為持久的,就像存儲(chǔ)在磁盤上那樣。一個(gè)單一的存儲(chǔ)服務(wù)器出現(xiàn)故障后絕不會(huì)造成數(shù)據(jù)丟失或哪怕幾秒的數(shù)據(jù)不可用的狀況。實(shí)現(xiàn)耐用久性和可用性的技術(shù)的將會(huì)在本文后邊討論。
4、保存在DRAM上的所有數(shù)據(jù)都允許保存在RAMCloud,并且比當(dāng)今給予高性能磁盤存儲(chǔ)系統(tǒng)的實(shí)際性能要高100到1000倍。
5、在同一個(gè)數(shù)據(jù)中心中通過在應(yīng)用服務(wù)器上運(yùn)行的一個(gè)進(jìn)程通過網(wǎng)絡(luò)讀取幾百字節(jié)的數(shù)據(jù)的訪問延遲有可能降低到5μs–10μs。相比之下,今天的系統(tǒng)通常需要0.5ms到10ms,這取決于數(shù)據(jù)是否存在于服務(wù)器內(nèi)存的緩存上,或必須從磁盤中讀取。
6、一臺(tái)多核的存儲(chǔ)服務(wù)器應(yīng)該至少能在每秒相應(yīng)100萬(wàn)的網(wǎng)絡(luò)請(qǐng)求。根據(jù)配置和緩存的內(nèi)容,一個(gè)基于磁盤的系統(tǒng)的類似機(jī)器(運(yùn)行多個(gè)磁盤和一個(gè)存儲(chǔ)緩存的主內(nèi)存)每秒可相應(yīng)1000至10000的網(wǎng)絡(luò)請(qǐng)求。
案例分享
目前一個(gè)可行的RAMCloud配置,每臺(tái)服務(wù)器配置24GB的DRAM,這是高性價(jià)比的配置。擴(kuò)展內(nèi)存會(huì)導(dǎo)致成本的急劇增加。2000服務(wù)器會(huì)配備48TB的存儲(chǔ)空間,平均每GB成本65美元。據(jù)預(yù)測(cè),到2020年,隨著DRAM技術(shù)的不斷完善,激勵(lì)1PB-10PB配置的RAMCloud時(shí)每 GB成本僅需6美元。
RAMCloud已經(jīng)在實(shí)際中有所應(yīng)用。例如一個(gè)大型的網(wǎng)絡(luò)零售商或航空公司使用RAMCloud的花費(fèi)在幾十萬(wàn)美元。截止2009年8月Facebook所有非圖像數(shù)據(jù)大約有260TB。這可能接近了當(dāng)今RAMCloud實(shí)用的上限。
像電視頻、照片、歌曲等數(shù)據(jù)還沒有大規(guī)模應(yīng)用RAMCloud,然而RAMCloud實(shí)際已經(jīng)可以用在所有在線的數(shù)據(jù)。隨著DRAM技術(shù)的不斷改進(jìn),RAMCloud在未來會(huì)更具吸引力。
RAMCloud的存在價(jià)值
首先,RAMCloud可以是一個(gè)數(shù)據(jù)密集型應(yīng)用的新架構(gòu),傳統(tǒng)的架構(gòu)是應(yīng)用程序連同代碼和數(shù)據(jù)被加載到一臺(tái)服務(wù)器的主存儲(chǔ)中,瓶頸也是顯而易見的,各種復(fù)雜的數(shù)據(jù)操作,應(yīng)用程序的大小,機(jī)器的處理能力都是瓶頸。
而在過去的10年中,一種服務(wù)于數(shù)百萬(wàn)用戶的大型WEB應(yīng)用架構(gòu)出現(xiàn)了。其主要將應(yīng)用程序代碼和數(shù)據(jù)存放于同一個(gè)數(shù)據(jù)中心中的不同服務(wù)器中。應(yīng)用服務(wù)器只存儲(chǔ)當(dāng)前請(qǐng)求和處理瀏覽器的需求,而這種架構(gòu)允許應(yīng)用程序擴(kuò)展到成千上萬(wàn)的應(yīng)用服務(wù)器和存儲(chǔ)。
但是不幸的是,在大型架構(gòu)圖中,當(dāng)服務(wù)器增加了4-5個(gè)數(shù)量級(jí)后,應(yīng)用程序的復(fù)雜性,數(shù)據(jù)的訪問延遲都成了問題。比如當(dāng)Facebook收到一個(gè) HTTP請(qǐng)求訪問網(wǎng)頁(yè)時(shí),應(yīng)用服務(wù)器必須發(fā)出130個(gè)以上的數(shù)據(jù)以生成HTML頁(yè)面,這當(dāng)中有指令請(qǐng)求的順序,而這些請(qǐng)求指令的累積是造成給用戶整體響應(yīng)時(shí)間延遲的因素之一,所以需要相當(dāng)大的開發(fā)量,以盡量減少對(duì)服務(wù)器請(qǐng)求的代碼大小和數(shù)量。
Mapreduce是最近幾年興起的一個(gè)新的技術(shù),目的在于提高數(shù)據(jù)接入速度,消除了延遲問題,現(xiàn)在它解決了大規(guī)模的問題,但是如果是連續(xù)的數(shù)據(jù)訪問,將使得Mapreduce僅僅限于在隨機(jī)訪問數(shù)據(jù)的應(yīng)用中使用。
RAMCloud則充分結(jié)合了兩者的優(yōu)勢(shì)——規(guī)模化和低延遲:保留了Web應(yīng)用程序的可擴(kuò)展性,同時(shí)降低了數(shù)據(jù)訪問延遲以接近傳統(tǒng)的應(yīng)用程序。
對(duì)現(xiàn)有應(yīng)用程序的擴(kuò)展存儲(chǔ)
對(duì)于新的應(yīng)用,RAMCloud將使其更容易建立。因?yàn)槿狈σ粋€(gè)可擴(kuò)展的存儲(chǔ)系統(tǒng),現(xiàn)在開發(fā)大型的Web應(yīng)用程序是困難的。
過去所有的Web應(yīng)用程序都使用關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ),但隨著數(shù)據(jù)規(guī)模的擴(kuò)大,一個(gè)單一的關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)不能滿足他們的I/O需求。因此大家開始做系統(tǒng)升級(jí),引進(jìn)新的技術(shù)來擴(kuò)展自己的存儲(chǔ)系統(tǒng)(比如多個(gè)數(shù)據(jù)庫(kù)間的數(shù)據(jù)分區(qū))。
比如,盡管Facebook在2009年的時(shí)候就有4000個(gè)MySQL服務(wù)器,但由于大量交互式數(shù)據(jù)的調(diào)用,現(xiàn)有的存儲(chǔ)系統(tǒng)依舊不能滿足它的 I/O需求,所以Facebook用了2000個(gè)Memcached用作分布式內(nèi)存對(duì)象緩存服務(wù)器——將一些鍵值存儲(chǔ)于主內(nèi)存中,但其瓶頸在于,需要處理 Memcached和MySQL服務(wù)器之間的一致性,需要對(duì)應(yīng)用軟件進(jìn)行管理(比如刷新緩存值以更新數(shù)據(jù)庫(kù)),這無疑增加了應(yīng)用的復(fù)雜性。
因此,NoSQL開始出現(xiàn),用非關(guān)系型數(shù)據(jù)庫(kù)以鍵值對(duì)存儲(chǔ),它的結(jié)構(gòu)不固定,每一個(gè)元組可以有不一樣的字段,每個(gè)元組可以根據(jù)需要增加一些自己的鍵值對(duì),這樣就不會(huì)局限于固定的結(jié)構(gòu),可以減少一些時(shí)間和空間的開銷,但是他們瓶頸依然是磁盤速度。
RAMCloud的原理之一是提供一個(gè)通用的存儲(chǔ)系統(tǒng),其規(guī)模遠(yuǎn)遠(yuǎn)超出現(xiàn)有的系統(tǒng),應(yīng)用程序開發(fā)人員不需要采取特殊的方式(如NoSQL系統(tǒng))。理想的狀態(tài)是,RAMCloud提供一個(gè)簡(jiǎn)單的模型,易用、并且有擴(kuò)展性,并對(duì)應(yīng)用程序的城戰(zhàn)不需要做架構(gòu)上的改變。
技術(shù)的發(fā)展趨勢(shì)
RAMCloud的發(fā)展動(dòng)力是來自磁盤技術(shù)的演進(jìn)。 磁盤容量從80年代以來增長(zhǎng)了超過10000倍,未來還將繼續(xù)增加(表3),不幸的是,磁盤上的信息訪問速度卻停止不前,顯著的提高方式是通過減少尋道時(shí)間和旋轉(zhuǎn)延遲,但僅僅提高了50倍,和容量的增加實(shí)在無法成正比。
硬盤技術(shù)不平衡發(fā)展的結(jié)構(gòu),導(dǎo)致了數(shù)據(jù)必須保存在內(nèi)存中不停訪問。如果按照容量/帶寬的比例來計(jì)算,如果磁盤是用作填補(bǔ)特定大小的塊,那么每塊多久可以訪問?隨機(jī)訪問又如何呢?一個(gè)可行的辦法是降低磁盤的利用率,如果只有一半的磁盤能夠使用,那么訪問速度理論上可以提高一倍。有數(shù)據(jù)顯示,到2009 年末時(shí),F(xiàn)acebook真正可以利用的磁盤容量只有10%,顯然,這個(gè)成本有點(diǎn)太高,從經(jīng)濟(jì)性和節(jié)能性來說,絕對(duì)不是一個(gè)好的架構(gòu)。
緩存
對(duì)軟件工程師而言,如果大多數(shù)訪問只是磁盤一個(gè)小塊,可以實(shí)現(xiàn)高性能保持在DRAM訪問最頻繁的塊之上,在理想的狀態(tài)下,使用緩存系統(tǒng)能夠提供類似 DRAM的性能+磁盤的成本。但是DRAM和磁盤之間的訪問時(shí)間存在著1000倍的差距,這也意味著高速緩存必須要有非常低的損失率,以避免性能上的損失。
SSD
目前來看,可選擇的SSD有兩種:基于DRAM的設(shè)備和基于閃存的設(shè)備。
基于DRAM存儲(chǔ)設(shè)備比基于閃存的存儲(chǔ)設(shè)備速度更快,但成本也要高得多。
比如,2TB大小基于閃存的存儲(chǔ)設(shè)備成本大約為18萬(wàn)美元;相比之下,存儲(chǔ)容量相同但基于DRAM的存儲(chǔ)設(shè)備成本高達(dá)約100萬(wàn)美元?;贒RAM 的驅(qū)動(dòng)器讀取或?qū)懭霐?shù)據(jù)的時(shí)間只要0.015毫秒,工作狀態(tài)下隨機(jī)速度達(dá)到了每秒可以處理40萬(wàn)次I/O。這種驅(qū)動(dòng)器最適合以寫操作為主的軟件以及使用高性能數(shù)據(jù)庫(kù)應(yīng)用系統(tǒng)的公司。
基于閃存的存儲(chǔ)驅(qū)動(dòng)器讀取或?qū)懭霐?shù)據(jù)的時(shí)間為0.2毫秒,工作狀態(tài)下最高讀取速度為每秒10萬(wàn)次I/O,最高寫入速度為每秒2.5萬(wàn)次I/O。這項(xiàng)技術(shù)也更適合以讀操作為主的應(yīng)用。
原文鏈接
標(biāo)簽:
杭州網(wǎng)站設(shè)計(jì)公司 杭州網(wǎng)站建設(shè)公司 杭州網(wǎng)站制作公司 杭州網(wǎng)站設(shè)計(jì) 杭州網(wǎng)站建設(shè) 杭州網(wǎng)站制作 杭州精品網(wǎng)站制作 杭州精典網(wǎng)站制作 杭州精品網(wǎng)站設(shè)計(jì)
-
杭州網(wǎng)站設(shè)計(jì)公司:品牌網(wǎng)站開發(fā)助力企業(yè)成長(zhǎng)
日期:2024-12-20瀏覽次數(shù):356次
-
杭州網(wǎng)站建設(shè)公司:商城網(wǎng)站建設(shè)的六大關(guān)鍵步驟
日期:2024-12-18瀏覽次數(shù):450次
-
杭州網(wǎng)站制作:醫(yī)院網(wǎng)站設(shè)計(jì)與域名備案的復(fù)雜性探討
日期:2024-12-18瀏覽次數(shù):462次
-
杭州網(wǎng)站制作公司:打造安全可靠的醫(yī)院網(wǎng)站
日期:2024-12-11瀏覽次數(shù):704次
-
杭州網(wǎng)站設(shè)計(jì)公司:數(shù)據(jù)庫(kù)在高端網(wǎng)站制作中的關(guān)鍵作用
日期:2024-12-11瀏覽次數(shù):674次
相關(guān)新聞
整合同類新聞,相關(guān)新聞一手掌握
-
襄陽(yáng)企業(yè)網(wǎng)站建設(shè)權(quán)威性的兩大體現(xiàn)要素
日期:2023-02-10瀏覽次數(shù):1606次
-
做網(wǎng)站,2023襄陽(yáng)扁平化網(wǎng)站設(shè)計(jì)三大核心優(yōu)勢(shì)
日期:2023-02-10瀏覽次數(shù):1582次
-
襄陽(yáng)網(wǎng)站建設(shè)是否真的重要?
日期:2020-10-09瀏覽次數(shù):1891次
-
襄陽(yáng)網(wǎng)頁(yè)設(shè)計(jì)之規(guī)范和忌諱
日期:2020-10-09瀏覽次數(shù):1875次
最新新聞
與互聯(lián)網(wǎng)同行,實(shí)時(shí)掌握網(wǎng)建行業(yè)最新動(dòng)態(tài)
-
2016杭州網(wǎng)站設(shè)計(jì)最受歡迎的建站網(wǎng)頁(yè)布局
日期:2016-06-30瀏覽次數(shù):5457次
-
萬(wàn)維網(wǎng)之父公布“拯救互聯(lián)網(wǎng)”計(jì)劃:不能讓網(wǎng)絡(luò)成為惡土
日期:2019-11-25瀏覽次數(shù):5536次
-
杭州營(yíng)銷推廣沒效果?來看看“秋褲錯(cuò)誤”
日期:2020-12-22瀏覽次數(shù):4461次
-
如何讓杭州定制高端網(wǎng)站更加科學(xué)?
日期:2021-07-08瀏覽次數(shù):3997次
-
大學(xué)生杭州網(wǎng)站制作應(yīng)該如何運(yùn)營(yíng)?
日期:2021-11-04瀏覽次數(shù):3868次
隨機(jī)新聞
新聞新動(dòng)態(tài),您需要的新聞管家
洞悉市場(chǎng)趨勢(shì)演變讓傳播回歸社會(huì)
免費(fèi)獲取網(wǎng)站建設(shè)與網(wǎng)絡(luò)推廣方案報(bào)價(jià)
-
關(guān)于我們
杭州帷拓科技有限公司,是一家新型的全案網(wǎng)絡(luò)開發(fā)公司,作為以互聯(lián)網(wǎng)高端網(wǎng)站建設(shè)、APP開發(fā)、小程序開發(fā)為核心的專業(yè)網(wǎng)絡(luò)技術(shù)服務(wù)供應(yīng)商,帷拓科技致力于全面分析市場(chǎng)環(huán)境、衡量與預(yù)測(cè)市場(chǎng)需求、整合區(qū)別于行業(yè)競(jìng)爭(zhēng)對(duì)手的絕對(duì)優(yōu)勢(shì),結(jié)合品牌理念深度挖掘項(xiàng)目?jī)?yōu)勢(shì)和產(chǎn)品價(jià)值,提升客戶品牌認(rèn)知、認(rèn)可度。
-
我們的客戶
帷拓科技?xì)v經(jīng)十年沉淀,與國(guó)內(nèi)外上千家客戶達(dá)成合作關(guān)系,其中穩(wěn)定合作的公司有:浙江華為、浙江移動(dòng)、浙江5G產(chǎn)業(yè)聯(lián)盟、浙江省社科院、綠城足球俱樂部、娃哈哈雙語(yǔ)學(xué)校、健康中國(guó)杭州峰會(huì)、科雷機(jī)電等,帷拓科技始終堅(jiān)持“帷有專業(yè),才能拓展無限”的服務(wù)理念,堅(jiān)持“認(rèn)真堅(jiān)持細(xì)節(jié)”的優(yōu)質(zhì)服務(wù)理念,不斷完善自身,成就企業(yè),最終實(shí)現(xiàn)共贏。
-
我們的業(yè)務(wù)
帷拓科技主營(yíng)業(yè)務(wù)范圍包含互聯(lián)網(wǎng)高端網(wǎng)站建設(shè)、APP開發(fā)、小程序開發(fā)、商城網(wǎng)站建設(shè)、公眾號(hào)運(yùn)營(yíng)以及數(shù)字營(yíng)銷等,涵蓋了服務(wù)、房產(chǎn)、數(shù)碼、服裝、物流貿(mào)易等行業(yè),根據(jù)品牌現(xiàn)狀,為每個(gè)客戶量身定制項(xiàng)目整體服務(wù)方案,以敏銳的市場(chǎng)洞察力、創(chuàng)新的市場(chǎng)策劃能力,全面把握市場(chǎng)變化,為客戶實(shí)現(xiàn)從企業(yè)到消費(fèi)者的價(jià)值轉(zhuǎn)換。