【杭州網(wǎng)站設(shè)計(jì)】用微服務(wù)器處理海量數(shù)據(jù)——你敢嘗試嗎?
分享 2011.06.21 瀏覽次數(shù):7257次
近日,提供在線網(wǎng)上聊天服務(wù)的eHarmony公司采購(gòu)了一批內(nèi)置Intel Atom處理器的SeaMicro服務(wù)器,用它們來(lái)運(yùn)行基于Hadoop結(jié)構(gòu)分布式計(jì)算服務(wù)。
如果是在幾年前,eHarmony在服務(wù)器上采用Atom處理器的行為無(wú)異于自殺,畢竟Atom的性能實(shí)在有限,況且業(yè)界也并沒(méi)有一個(gè)完整的微處理器解決方案。但是現(xiàn)在SeaMicro和Calxeda(主要采用ARM處理器的微服務(wù)器)廠商所開(kāi)發(fā)的服務(wù)器,已經(jīng)能夠大大降低建造成本,并能節(jié)省能源。
不過(guò)業(yè)界普遍認(rèn)為,如何滿足應(yīng)用程序和大客戶的需要是這些微服務(wù)器普及之前首先需要解決的問(wèn)題。而對(duì)于大數(shù)據(jù)處理來(lái)說(shuō),類似Atom這樣的處理器則需要將以上兩個(gè)問(wèn)題都解決——
Calxeda:采用ARM原因在于沒(méi)有歷史負(fù)擔(dān)
雖然Calxeda公司所生產(chǎn)的ARM架構(gòu)微型服務(wù)器在處理器結(jié)構(gòu)上與SeaMicro公司的X86架構(gòu)微型服務(wù)器存在很大不同,但Evans所總結(jié)的前兩個(gè)優(yōu)勢(shì)同樣適用于SeaMicro的X86架構(gòu)產(chǎn)品。
Calxeda公司CEO Barry Evans表示,“對(duì)于海量數(shù)據(jù)來(lái)說(shuō),有三個(gè)關(guān)鍵因素說(shuō)明ARM架構(gòu)服務(wù)器將是非常適合的。首先,海量數(shù)據(jù)的處理本身就具有向外擴(kuò)展的特性,需要眾多高效處理器來(lái)進(jìn)行處理。其次,海量數(shù)據(jù)處理作為一個(gè)新興的市場(chǎng),其所要面對(duì)的歷史遺留問(wèn)題很少。最后,目前針對(duì)這一領(lǐng)域的軟件對(duì)ARM架構(gòu)的支持程度很好。”
Hadoop on microservers
Hadoop作為一種分布式計(jì)算結(jié)構(gòu),對(duì)于很多公司和組織來(lái)講都是一個(gè)全新的領(lǐng)域,而他們大多沒(méi)有專門(mén)應(yīng)對(duì)這一應(yīng)用的硬件。分布式計(jì)算需要眾多的scale out擴(kuò)展結(jié)構(gòu)來(lái)提升整個(gè)系統(tǒng)的并行處理能力。而對(duì)于分布式計(jì)算的每個(gè)節(jié)點(diǎn),Hadoop并不要求其性能能夠與高功耗、高性能的專用處理器相媲美,相反,其對(duì)性能的要求是非常低的。而微型服務(wù)器則能夠憑借眾多的物力核心和相對(duì)較小的體積來(lái)很好的滿足Hadoop計(jì)算的需求。
Atom節(jié)點(diǎn)最低功耗僅5瓦
SeaMicro的微型服務(wù)器可以在10U機(jī)架的體積內(nèi)提供512個(gè)Intel Atom核心并產(chǎn)生1.28TB/s的計(jì)算能力,而相對(duì)于傳統(tǒng)服務(wù)器來(lái)說(shuō),其能耗卻降低了75%。而Calxeda公司的微型服務(wù)器產(chǎn)品則可以在2U的體積內(nèi)提供120個(gè)4核心ARM Cortex A9架構(gòu)處理器,而每個(gè)處理器節(jié)點(diǎn)的功耗只有5瓦。知名記者Stacey Higginbotham在談?wù)揅alxeda計(jì)劃時(shí)表示,“Intel和AMD基于x86架構(gòu)的四核心處理器功耗在80至130瓦之間,節(jié)能版本的x86芯片也有30瓦的功耗。對(duì)于堅(jiān)持使用傳統(tǒng)服務(wù)器芯片的用戶可考慮Dell公司銷售的cloudscale微服務(wù)器,它采用Intel Xeon處理器,功耗為30瓦。
Evans的理論和eHarmony公司的實(shí)例都證明,微型服務(wù)器對(duì)于Hadoop這種大數(shù)據(jù)計(jì)算來(lái)說(shuō)卻是非常合適。而在使用微型服務(wù)器之前,eHarmony公司也曾使用云服務(wù)來(lái)滿足其需要,不過(guò)他們發(fā)現(xiàn),當(dāng)他們進(jìn)行大量并行計(jì)算并與云服務(wù)其交換大量數(shù)據(jù)時(shí),這一方法就會(huì)變得非常昂貴。而作為一家之前沒(méi)有任何服務(wù)器硬件投資的公司來(lái)說(shuō),eHarmony公司可以很輕易的轉(zhuǎn)投至微型服務(wù)器架構(gòu)中。Data Center Knowledge的Rich Miller也表示“微型服務(wù)器可以為CTO每月減少數(shù)萬(wàn)美元的運(yùn)營(yíng)費(fèi)用,使成本降低74%。”
由于在eHarmony案例上的成功,我們可能很快就會(huì)看到像SeaMicro和Calxeda這樣的公司與Cloudera(目前最大的分布式計(jì)算軟件提供商)達(dá)成OEM協(xié)議。當(dāng)然,隨著微型服務(wù)器在這一領(lǐng)域的迎頭趕上,我們也很有可能看到軟硬件一體化解決方案的提供商。
微服務(wù)器的未來(lái)
可以看到,微服務(wù)器的倡導(dǎo)者之所以如此樂(lè)觀,主要是受到了近年來(lái)互聯(lián)網(wǎng)和云計(jì)算市場(chǎng)蓬勃發(fā)展的影響。像Facebook的技術(shù)主管就表示,該公司并不準(zhǔn)備融入 服務(wù)器虛擬化的潮流,而是希望將微服務(wù)器作為一種廉價(jià)增長(zhǎng)和快速故障轉(zhuǎn)移方式。目前,F(xiàn)acebook已經(jīng)測(cè)試了微服務(wù)器,并且有意將其用于大規(guī)模的數(shù)據(jù) 中心。
有數(shù)據(jù)顯示,F(xiàn)acebook在2010年6月時(shí),其服務(wù)器數(shù)量超過(guò)了6萬(wàn)臺(tái),而2008年4月為1萬(wàn)臺(tái),即使到了2009年底也才是3萬(wàn)多臺(tái)。而等今年俄勒岡數(shù)據(jù)中心開(kāi)放后,F(xiàn)acebook的服務(wù)器數(shù)量將接近10萬(wàn)臺(tái)。
Facebook或許是一個(gè)特殊的例子,但它確實(shí)代表了高速發(fā)展的新興互聯(lián)網(wǎng)企業(yè)的一種趨勢(shì)。未來(lái),當(dāng)新興互聯(lián)網(wǎng)業(yè)務(wù)和云計(jì)算需求徹底被喚醒的時(shí)候,或許才是微服務(wù)器真正的春天。
最新的消息是,在未來(lái)的幾天內(nèi),包括美國(guó)麻省理工學(xué)院著名教授Anant Agarwal, 同時(shí)也是Tilera公司的創(chuàng)始人和CTO。以及惠普實(shí)驗(yàn)室的Partha Ranganathan將開(kāi)始深入討論新一代的分布式體系結(jié)構(gòu),而此次會(huì)議的目的也主要在于探討將將大量低功耗處理器壓縮為小規(guī)模處理器的概念,以獲得在外部具有海量數(shù)據(jù)的應(yīng)用程序(主要是網(wǎng)絡(luò)應(yīng)用)。
杭州網(wǎng)站建設(shè)公司 杭州網(wǎng)站設(shè)計(jì)公司 杭州網(wǎng)站建設(shè) 杭州網(wǎng)站設(shè)計(jì) 杭州精典網(wǎng)站建設(shè) 杭州精典網(wǎng)站設(shè)計(jì)
-
杭州網(wǎng)站設(shè)計(jì)公司:品牌網(wǎng)站開(kāi)發(fā)助力企業(yè)成長(zhǎng)
日期:2024-12-20瀏覽次數(shù):147次
-
杭州網(wǎng)站建設(shè)公司:商城網(wǎng)站建設(shè)的六大關(guān)鍵步驟
日期:2024-12-18瀏覽次數(shù):245次
-
杭州網(wǎng)站制作:醫(yī)院網(wǎng)站設(shè)計(jì)與域名備案的復(fù)雜性探討
日期:2024-12-18瀏覽次數(shù):267次
-
杭州網(wǎng)站制作公司:打造安全可靠的醫(yī)院網(wǎng)站
日期:2024-12-11瀏覽次數(shù):512次
-
杭州網(wǎng)站設(shè)計(jì)公司:數(shù)據(jù)庫(kù)在高端網(wǎng)站制作中的關(guān)鍵作用
日期:2024-12-11瀏覽次數(shù):485次
相關(guān)新聞
整合同類新聞,相關(guān)新聞一手掌握
-
什么樣的江門(mén)定制app更值得?
日期:2021-02-24瀏覽次數(shù):1919次
-
江門(mén)app開(kāi)發(fā):維修類企業(yè)應(yīng)該如何開(kāi)發(fā)?
日期:2021-02-24瀏覽次數(shù):1834次
-
如何分析江門(mén)做網(wǎng)站的公司是否可靠?
日期:2020-09-30瀏覽次數(shù):1955次
-
江門(mén)網(wǎng)站制作:網(wǎng)站的后期維護(hù)四點(diǎn)建議
日期:2020-09-30瀏覽次數(shù):2024次
最新新聞
與互聯(lián)網(wǎng)同行,實(shí)時(shí)掌握網(wǎng)建行業(yè)最新動(dòng)態(tài)
-
網(wǎng)站排名優(yōu)化需要做好的基礎(chǔ)工作
日期:2019-12-24瀏覽次數(shù):4535次
-
集團(tuán)app開(kāi)發(fā)的類型選擇及特點(diǎn)
日期:2020-04-15瀏覽次數(shù):4270次
-
2020年端午節(jié)放假通知
日期:2020-06-23瀏覽次數(shù):7852次
-
杭州帷拓科技與如意倉(cāng)達(dá)成合作關(guān)系
日期:2020-12-31瀏覽次數(shù):5909次
-
需要被重視的杭州app開(kāi)發(fā)原則
日期:2021-02-20瀏覽次數(shù):3900次
隨機(jī)新聞
新聞新動(dòng)態(tài),您需要的新聞管家
洞悉市場(chǎng)趨勢(shì)演變讓傳播回歸社會(huì)
免費(fèi)獲取網(wǎng)站建設(shè)與網(wǎng)絡(luò)推廣方案報(bào)價(jià)
-
關(guān)于我們
杭州帷拓科技有限公司,是一家新型的全案網(wǎng)絡(luò)開(kāi)發(fā)公司,作為以互聯(lián)網(wǎng)高端網(wǎng)站建設(shè)、APP開(kāi)發(fā)、小程序開(kāi)發(fā)為核心的專業(yè)網(wǎng)絡(luò)技術(shù)服務(wù)供應(yīng)商,帷拓科技致力于全面分析市場(chǎng)環(huán)境、衡量與預(yù)測(cè)市場(chǎng)需求、整合區(qū)別于行業(yè)競(jìng)爭(zhēng)對(duì)手的絕對(duì)優(yōu)勢(shì),結(jié)合品牌理念深度挖掘項(xiàng)目?jī)?yōu)勢(shì)和產(chǎn)品價(jià)值,提升客戶品牌認(rèn)知、認(rèn)可度。
-
我們的客戶
帷拓科技?xì)v經(jīng)十年沉淀,與國(guó)內(nèi)外上千家客戶達(dá)成合作關(guān)系,其中穩(wěn)定合作的公司有:浙江華為、浙江移動(dòng)、浙江5G產(chǎn)業(yè)聯(lián)盟、浙江省社科院、綠城足球俱樂(lè)部、娃哈哈雙語(yǔ)學(xué)校、健康中國(guó)杭州峰會(huì)、科雷機(jī)電等,帷拓科技始終堅(jiān)持“帷有專業(yè),才能拓展無(wú)限”的服務(wù)理念,堅(jiān)持“認(rèn)真堅(jiān)持細(xì)節(jié)”的優(yōu)質(zhì)服務(wù)理念,不斷完善自身,成就企業(yè),最終實(shí)現(xiàn)共贏。
-
我們的業(yè)務(wù)
帷拓科技主營(yíng)業(yè)務(wù)范圍包含互聯(lián)網(wǎng)高端網(wǎng)站建設(shè)、APP開(kāi)發(fā)、小程序開(kāi)發(fā)、商城網(wǎng)站建設(shè)、公眾號(hào)運(yùn)營(yíng)以及數(shù)字營(yíng)銷等,涵蓋了服務(wù)、房產(chǎn)、數(shù)碼、服裝、物流貿(mào)易等行業(yè),根據(jù)品牌現(xiàn)狀,為每個(gè)客戶量身定制項(xiàng)目整體服務(wù)方案,以敏銳的市場(chǎng)洞察力、創(chuàng)新的市場(chǎng)策劃能力,全面把握市場(chǎng)變化,為客戶實(shí)現(xiàn)從企業(yè)到消費(fèi)者的價(jià)值轉(zhuǎn)換。