【杭州網(wǎng)站建設】 大規(guī)模存儲的未來——內存云?
分享 2011.08.02 瀏覽次數(shù):7007次
Tcl/Tk的創(chuàng)始人、美國工程院院士、ACM Fellow John Ousterhout目前在斯坦福大學任教,他近年來的主要研究項目是RAMCloud——內存云。顧名思義,RAMCloud就是這樣一種新型數(shù)據(jù)中心存儲系統(tǒng),它是由成千上萬臺普通服務器的主存所組成的大規(guī)模系統(tǒng),任何時候,所有信息都存儲在這些快速的DRAM(動態(tài)隨機訪問存儲器,即俗稱的內存)中,內存取代了傳統(tǒng)系統(tǒng)中的硬盤,硬盤只作為備份使用。
內存云由此能同時實現(xiàn)大規(guī)模 (100~1000 TB) 和低延遲(同一數(shù)據(jù)中心應用程序訪問少量內存云數(shù)據(jù)只需5~10ms,比目前系統(tǒng)快100~1000倍)。內存云不僅會簡化大型Web應用的開發(fā),而且,將催生新的數(shù)據(jù)密集型應用。
最新出版的《ACM通信》(Communications of ACM)2011年8月刊發(fā)表了Ousterhout與他的團隊合作撰寫的論文“The Case for RAMCloud”
在過去四十年,磁盤已經(jīng)成為計算機系統(tǒng)網(wǎng)上信息的主要存儲位置。
在此期間,磁盤技術已經(jīng)發(fā)生了顯著改善,由更高級別的存儲系統(tǒng)(如文件系統(tǒng)和關系數(shù)據(jù)庫)利用。但是磁盤性能卻并沒有像磁盤容量那樣有所改變。一個不容忽視的現(xiàn)實擺在了面前——技術人員發(fā)現(xiàn)基于磁盤的系統(tǒng)越來越難以形成規(guī)模以滿足大型Web應用程序的需要。
許多計算機科學家們提出了新的基于磁盤存儲的解決方案,以及其他建議更換磁碟與快閃記憶體裝置。相比之下,我們說的解決方案是基本想法就是將在線數(shù)據(jù)從磁盤遷移到DRAM上,從而在磁盤之上創(chuàng)建一種新式存儲。
這時,一個被稱為“RAMCloud”新的存儲方式將為未來許多應用提供新的存儲架構。
什么是RAMCloud?
RAMCloud架構的原理在于將存儲所有商業(yè)服務器的信息在主存儲器上,并使用數(shù)百上千的服務器創(chuàng)建大型存儲系統(tǒng)。據(jù)稱,存儲在RAMCloud上的數(shù)據(jù)的延遲要比存儲在基于硬盤的系統(tǒng)上低100-1000倍,而吞吐量則會高100-1000倍。
雖然個體存儲容易改變,但RAMCloud可以利用復制和備份技術以保障數(shù)據(jù)的耐久性和可用性,就像傳統(tǒng)基于磁盤的系統(tǒng)那樣。
RAMCloud可提供低延遲和大規(guī)模,并將從以下三點改變存儲行業(yè)的現(xiàn)狀。首先,RAMCloud會消除開發(fā)大規(guī)模Web應用所面臨的可擴展性問題。其次將啟用新的應用類,比當今深入100-1000倍操作數(shù)據(jù)將成為可能;RAMCloud集群可以支持單個的代謝那個程序或許多較小的應用程序,并可在小型應用轉變?yōu)榇笮蛻玫拈_發(fā)時保證沒有額外的復雜性。
RAMCloud的架構原理
1、在RAMCloud架構中,大量服務器組成的數(shù)據(jù)中心可分為兩類:應用服務器,實現(xiàn)應用程序的邏輯(如生成Web網(wǎng)頁和執(zhí)行業(yè)務規(guī)則)和存儲服務器,提供較長的共享應用服務器存儲。
2、RAMCloud代表系統(tǒng)存儲組織服務器的一種新方式,有兩個關鍵的區(qū)別區(qū)分RAMCloud和傳統(tǒng)存儲系統(tǒng)。首先,所有信息在任何時候都保存在RAMCloud;其次,RAMCloud必須建立在一定規(guī)模(數(shù)以千計)存儲服務器上。對于應用程序,獨立于存儲服務器的單一存儲系統(tǒng)的實際數(shù)量是可見的。
3、RAMCloud存儲的信息必須為持久的,就像存儲在磁盤上那樣。一個單一的存儲服務器出現(xiàn)故障后絕不會造成數(shù)據(jù)丟失或哪怕幾秒的數(shù)據(jù)不可用的狀況。實現(xiàn)耐用久性和可用性的技術的將會在本文后邊討論。
4、保存在DRAM上的所有數(shù)據(jù)都允許保存在RAMCloud,并且比當今給予高性能磁盤存儲系統(tǒng)的實際性能要高100到1000倍。
5、在同一個數(shù)據(jù)中心中通過在應用服務器上運行的一個進程通過網(wǎng)絡讀取幾百字節(jié)的數(shù)據(jù)的訪問延遲有可能降低到5μs–10μs。相比之下,今天的系統(tǒng)通常需要0.5ms到10ms,這取決于數(shù)據(jù)是否存在于服務器內存的緩存上,或必須從磁盤中讀取。
6、一臺多核的存儲服務器應該至少能在每秒相應100萬的網(wǎng)絡請求。根據(jù)配置和緩存的內容,一個基于磁盤的系統(tǒng)的類似機器(運行多個磁盤和一個存儲緩存的主內存)每秒可相應1000至10000的網(wǎng)絡請求。
案例分享
目前一個可行的RAMCloud配置,每臺服務器配置24GB的DRAM,這是高性價比的配置。擴展內存會導致成本的急劇增加。2000服務器會配備48TB的存儲空間,平均每GB成本65美元。據(jù)預測,到2020年,隨著DRAM技術的不斷完善,激勵1PB-10PB配置的RAMCloud時每 GB成本僅需6美元。
RAMCloud已經(jīng)在實際中有所應用。例如一個大型的網(wǎng)絡零售商或航空公司使用RAMCloud的花費在幾十萬美元。截止2009年8月Facebook所有非圖像數(shù)據(jù)大約有260TB。這可能接近了當今RAMCloud實用的上限。
像電視頻、照片、歌曲等數(shù)據(jù)還沒有大規(guī)模應用RAMCloud,然而RAMCloud實際已經(jīng)可以用在所有在線的數(shù)據(jù)。隨著DRAM技術的不斷改進,RAMCloud在未來會更具吸引力。
RAMCloud的存在價值
首先,RAMCloud可以是一個數(shù)據(jù)密集型應用的新架構,傳統(tǒng)的架構是應用程序連同代碼和數(shù)據(jù)被加載到一臺服務器的主存儲中,瓶頸也是顯而易見的,各種復雜的數(shù)據(jù)操作,應用程序的大小,機器的處理能力都是瓶頸。
而在過去的10年中,一種服務于數(shù)百萬用戶的大型WEB應用架構出現(xiàn)了。其主要將應用程序代碼和數(shù)據(jù)存放于同一個數(shù)據(jù)中心中的不同服務器中。應用服務器只存儲當前請求和處理瀏覽器的需求,而這種架構允許應用程序擴展到成千上萬的應用服務器和存儲。
但是不幸的是,在大型架構圖中,當服務器增加了4-5個數(shù)量級后,應用程序的復雜性,數(shù)據(jù)的訪問延遲都成了問題。比如當Facebook收到一個 HTTP請求訪問網(wǎng)頁時,應用服務器必須發(fā)出130個以上的數(shù)據(jù)以生成HTML頁面,這當中有指令請求的順序,而這些請求指令的累積是造成給用戶整體響應時間延遲的因素之一,所以需要相當大的開發(fā)量,以盡量減少對服務器請求的代碼大小和數(shù)量。
Mapreduce是最近幾年興起的一個新的技術,目的在于提高數(shù)據(jù)接入速度,消除了延遲問題,現(xiàn)在它解決了大規(guī)模的問題,但是如果是連續(xù)的數(shù)據(jù)訪問,將使得Mapreduce僅僅限于在隨機訪問數(shù)據(jù)的應用中使用。
RAMCloud則充分結合了兩者的優(yōu)勢——規(guī)模化和低延遲:保留了Web應用程序的可擴展性,同時降低了數(shù)據(jù)訪問延遲以接近傳統(tǒng)的應用程序。
對現(xiàn)有應用程序的擴展存儲
對于新的應用,RAMCloud將使其更容易建立。因為缺乏一個可擴展的存儲系統(tǒng),現(xiàn)在開發(fā)大型的Web應用程序是困難的。
過去所有的Web應用程序都使用關系型數(shù)據(jù)庫存儲,但隨著數(shù)據(jù)規(guī)模的擴大,一個單一的關系型數(shù)據(jù)庫已經(jīng)不能滿足他們的I/O需求。因此大家開始做系統(tǒng)升級,引進新的技術來擴展自己的存儲系統(tǒng)(比如多個數(shù)據(jù)庫間的數(shù)據(jù)分區(qū))。
比如,盡管Facebook在2009年的時候就有4000個MySQL服務器,但由于大量交互式數(shù)據(jù)的調用,現(xiàn)有的存儲系統(tǒng)依舊不能滿足它的 I/O需求,所以Facebook用了2000個Memcached用作分布式內存對象緩存服務器——將一些鍵值存儲于主內存中,但其瓶頸在于,需要處理 Memcached和MySQL服務器之間的一致性,需要對應用軟件進行管理(比如刷新緩存值以更新數(shù)據(jù)庫),這無疑增加了應用的復雜性。
因此,NoSQL開始出現(xiàn),用非關系型數(shù)據(jù)庫以鍵值對存儲,它的結構不固定,每一個元組可以有不一樣的字段,每個元組可以根據(jù)需要增加一些自己的鍵值對,這樣就不會局限于固定的結構,可以減少一些時間和空間的開銷,但是他們瓶頸依然是磁盤速度。
RAMCloud的原理之一是提供一個通用的存儲系統(tǒng),其規(guī)模遠遠超出現(xiàn)有的系統(tǒng),應用程序開發(fā)人員不需要采取特殊的方式(如NoSQL系統(tǒng))。理想的狀態(tài)是,RAMCloud提供一個簡單的模型,易用、并且有擴展性,并對應用程序的城戰(zhàn)不需要做架構上的改變。
技術的發(fā)展趨勢
RAMCloud的發(fā)展動力是來自磁盤技術的演進。 磁盤容量從80年代以來增長了超過10000倍,未來還將繼續(xù)增加(表3),不幸的是,磁盤上的信息訪問速度卻停止不前,顯著的提高方式是通過減少尋道時間和旋轉延遲,但僅僅提高了50倍,和容量的增加實在無法成正比。
硬盤技術不平衡發(fā)展的結構,導致了數(shù)據(jù)必須保存在內存中不停訪問。如果按照容量/帶寬的比例來計算,如果磁盤是用作填補特定大小的塊,那么每塊多久可以訪問?隨機訪問又如何呢?一個可行的辦法是降低磁盤的利用率,如果只有一半的磁盤能夠使用,那么訪問速度理論上可以提高一倍。有數(shù)據(jù)顯示,到2009 年末時,F(xiàn)acebook真正可以利用的磁盤容量只有10%,顯然,這個成本有點太高,從經(jīng)濟性和節(jié)能性來說,絕對不是一個好的架構。
緩存
對軟件工程師而言,如果大多數(shù)訪問只是磁盤一個小塊,可以實現(xiàn)高性能保持在DRAM訪問最頻繁的塊之上,在理想的狀態(tài)下,使用緩存系統(tǒng)能夠提供類似 DRAM的性能+磁盤的成本。但是DRAM和磁盤之間的訪問時間存在著1000倍的差距,這也意味著高速緩存必須要有非常低的損失率,以避免性能上的損失。
SSD
目前來看,可選擇的SSD有兩種:基于DRAM的設備和基于閃存的設備。
基于DRAM存儲設備比基于閃存的存儲設備速度更快,但成本也要高得多。
比如,2TB大小基于閃存的存儲設備成本大約為18萬美元;相比之下,存儲容量相同但基于DRAM的存儲設備成本高達約100萬美元?;贒RAM 的驅動器讀取或寫入數(shù)據(jù)的時間只要0.015毫秒,工作狀態(tài)下隨機速度達到了每秒可以處理40萬次I/O。這種驅動器最適合以寫操作為主的軟件以及使用高性能數(shù)據(jù)庫應用系統(tǒng)的公司。
基于閃存的存儲驅動器讀取或寫入數(shù)據(jù)的時間為0.2毫秒,工作狀態(tài)下最高讀取速度為每秒10萬次I/O,最高寫入速度為每秒2.5萬次I/O。這項技術也更適合以讀操作為主的應用。
原文鏈接
標簽:
杭州網(wǎng)站設計公司 杭州網(wǎng)站建設公司 杭州網(wǎng)站制作公司 杭州網(wǎng)站設計 杭州網(wǎng)站建設 杭州網(wǎng)站制作 杭州精品網(wǎng)站制作 杭州精典網(wǎng)站制作 杭州精品網(wǎng)站設計
-
杭州網(wǎng)站設計公司:品牌網(wǎng)站開發(fā)助力企業(yè)成長
日期:2024-12-20瀏覽次數(shù):446次
-
杭州網(wǎng)站建設公司:商城網(wǎng)站建設的六大關鍵步驟
日期:2024-12-18瀏覽次數(shù):516次
-
杭州網(wǎng)站制作:醫(yī)院網(wǎng)站設計與域名備案的復雜性探討
日期:2024-12-18瀏覽次數(shù):519次
-
杭州網(wǎng)站制作公司:打造安全可靠的醫(yī)院網(wǎng)站
日期:2024-12-11瀏覽次數(shù):731次
-
杭州網(wǎng)站設計公司:數(shù)據(jù)庫在高端網(wǎng)站制作中的關鍵作用
日期:2024-12-11瀏覽次數(shù):701次
相關新聞
整合同類新聞,相關新聞一手掌握
-
杭州網(wǎng)站設計公司應該如何設計響應式網(wǎng)站?
日期:2020-09-01瀏覽次數(shù):2239次
-
杭州網(wǎng)站制作之手機網(wǎng)站規(guī)范
日期:2020-08-31瀏覽次數(shù):2296次
-
企業(yè)網(wǎng)站應該如何建設與運營?
日期:2020-07-06瀏覽次數(shù):2383次
-
建設一個網(wǎng)站,大概需要消耗多少時間
日期:2020-06-22瀏覽次數(shù):2368次
-
一站式APP外包公司的選擇
日期:2020-06-02瀏覽次數(shù):2403次
最新新聞
與互聯(lián)網(wǎng)同行,實時掌握網(wǎng)建行業(yè)最新動態(tài)
-
談談HTML5最突出的特性與功能
日期:2017-01-15瀏覽次數(shù):8987次
-
杭州企業(yè)網(wǎng)站建設方案
日期:2018-05-08瀏覽次數(shù):7501次
-
微信小程序開發(fā)和APP開發(fā)有哪些區(qū)別?
日期:2020-02-19瀏覽次數(shù):2172次
-
電子商務網(wǎng)站建設基礎
日期:2020-02-20瀏覽次數(shù):1979次
-
汕頭網(wǎng)站設計:網(wǎng)站建設有多么重要?
日期:2020-12-02瀏覽次數(shù):1941次
隨機新聞
新聞新動態(tài),您需要的新聞管家
洞悉市場趨勢演變讓傳播回歸社會
免費獲取網(wǎng)站建設與網(wǎng)絡推廣方案報價
-
關于我們
杭州帷拓科技有限公司,是一家新型的全案網(wǎng)絡開發(fā)公司,作為以互聯(lián)網(wǎng)高端網(wǎng)站建設、APP開發(fā)、小程序開發(fā)為核心的專業(yè)網(wǎng)絡技術服務供應商,帷拓科技致力于全面分析市場環(huán)境、衡量與預測市場需求、整合區(qū)別于行業(yè)競爭對手的絕對優(yōu)勢,結合品牌理念深度挖掘項目優(yōu)勢和產(chǎn)品價值,提升客戶品牌認知、認可度。
-
我們的客戶
帷拓科技歷經(jīng)十年沉淀,與國內外上千家客戶達成合作關系,其中穩(wěn)定合作的公司有:浙江華為、浙江移動、浙江5G產(chǎn)業(yè)聯(lián)盟、浙江省社科院、綠城足球俱樂部、娃哈哈雙語學校、健康中國杭州峰會、科雷機電等,帷拓科技始終堅持“帷有專業(yè),才能拓展無限”的服務理念,堅持“認真堅持細節(jié)”的優(yōu)質服務理念,不斷完善自身,成就企業(yè),最終實現(xiàn)共贏。
-
我們的業(yè)務
帷拓科技主營業(yè)務范圍包含互聯(lián)網(wǎng)高端網(wǎng)站建設、APP開發(fā)、小程序開發(fā)、商城網(wǎng)站建設、公眾號運營以及數(shù)字營銷等,涵蓋了服務、房產(chǎn)、數(shù)碼、服裝、物流貿(mào)易等行業(yè),根據(jù)品牌現(xiàn)狀,為每個客戶量身定制項目整體服務方案,以敏銳的市場洞察力、創(chuàng)新的市場策劃能力,全面把握市場變化,為客戶實現(xiàn)從企業(yè)到消費者的價值轉換。