Hadoop掀起大數(shù)據(jù)革命 三巨頭齊發(fā)力
分享 2011.11.15 瀏覽次數(shù):7022次
導(dǎo)讀:開源的數(shù)據(jù)處理平臺憑借其低成本、高擴(kuò)展性和靈活性的優(yōu)勢已經(jīng)贏得了多數(shù)網(wǎng)絡(luò)巨頭的認(rèn)可。現(xiàn)在Hadoop將進(jìn)入更多企業(yè)。 IBM將在明年推出內(nèi)置NoSQL技術(shù)的DB2旗艦級數(shù)據(jù)庫管理系統(tǒng)。上個月Oracle和Microsoft也分別透露了將計劃在明年發(fā)布基于 Hadoop的產(chǎn)品。兩家公司都計劃提供協(xié)助部署服務(wù)和企業(yè)級支持。Oracle已經(jīng)承諾將會在大數(shù)據(jù)設(shè)備中預(yù)裝Hadoop軟件。
大數(shù)據(jù)革命正以Apache Hadoop為呼叫中心如火如荼的進(jìn)行著。自從開源分布式數(shù)據(jù)處理平臺在5年前發(fā)布時討論之聲就不絕于耳。但在過去的18個月中,Hadoop贏得了客戶的認(rèn)可,并得到眾多商業(yè)化的支持以及眾多數(shù)據(jù)庫和數(shù)據(jù)集成軟件商的整合。在眾多廠商之中最著名的三個商業(yè)數(shù)據(jù)供應(yīng)商當(dāng)屬Oracle、IBM和 Microsoft。
Hadoop會在未來成為大數(shù)據(jù)的重大技術(shù)嗎?
Hadoop是一個基于Java的分布式密集數(shù)據(jù)處理和數(shù)據(jù)分析的軟件框架。Hadoop在很大程度上是受Google在2004年白皮書中闡述的 MapReduce的技術(shù)啟發(fā)。MapReduce工作原理是將任務(wù)分解為成百上千塊的小任務(wù),然后發(fā)送到計算機(jī)集群中。每臺計算機(jī)再傳送會自己那部分信息,MapReduce則迅速整合這些反饋并形成答案。
Hadoop的擴(kuò)展性非常優(yōu)秀,Hadoop可處理分布在數(shù)以千計的低成本X86服務(wù)器計算節(jié)點(diǎn)中的大型數(shù)據(jù)。同時由于眾所周知的摩爾定律,內(nèi)存和磁盤的容量也在不斷增長。Hadoop對硬件的支持也在加強(qiáng),現(xiàn)在每個節(jié)點(diǎn)可部署16核的處理器,12TB甚至24TB磁盤。Cloudera透露其推出的產(chǎn)品每個節(jié)點(diǎn)的成本大約4000美元。這個價格對于關(guān)系數(shù)據(jù)庫部署每TB 10000至12000美元來說極具競爭優(yōu)勢。
這種高容量低成本的組合引人注目,但Hadoop最吸引人的是其處理混合數(shù)據(jù)類型的能力。
Hadoop可以管理結(jié)構(gòu)化數(shù)據(jù),以及諸如服務(wù)器日志文件和Web點(diǎn)擊流的數(shù)據(jù)。同時還可以管理以非結(jié)構(gòu)化文本為中心的數(shù)據(jù),如Facebook和 Twitter。這種處理多類型數(shù)據(jù)的能力非常重要。它催生了NoSQL平臺和產(chǎn)品。如Cassandra, CouchDB, MongoDB以及Oracle最新的NoSQL數(shù)據(jù)庫。而傳統(tǒng)關(guān)系型數(shù)據(jù)庫如Oracle,IBM DB2,Microsoft SQL Server和MySQL則都不能處理混合數(shù)據(jù)類型和非結(jié)構(gòu)化數(shù)據(jù)。 由于事務(wù)處理靈活性的需求,Hadoop獲得大多數(shù)數(shù)據(jù)分析廠商的關(guān)注和支持。
Hadoop已被廣泛應(yīng)用
現(xiàn)今,Hadoop已被認(rèn)為是非結(jié)構(gòu)化數(shù)據(jù)的專用技術(shù)。低成本、高擴(kuò)展性和靈活性等優(yōu)勢已成為處理大規(guī)模點(diǎn)擊流量分析和廣告定位等網(wǎng)絡(luò)巨頭(如AOL和comScore)的首選。
AOL三年多時間一直使用Hadoop。AOL的研發(fā)團(tuán)隊在加利福尼亞州的Mountain View部署了300節(jié)點(diǎn)的系統(tǒng),該系統(tǒng)可以存儲每天數(shù)十億事件和超過500TB的點(diǎn)擊流數(shù)據(jù)。點(diǎn)擊所帶來流數(shù)據(jù)是高度結(jié)構(gòu)化的,但數(shù)據(jù)量是非常龐大和多樣的。所以幾乎不可能處理所有的提取、轉(zhuǎn)換和負(fù)載工作。AOL為了解決以上問題決定使用Hadoop MapReduce處理分布在數(shù)百個計算節(jié)點(diǎn)的數(shù)據(jù)過濾和關(guān)聯(lián)任務(wù)。由于Hadoop為業(yè)務(wù)帶來的優(yōu)勢,AOL的Hadoop研發(fā)團(tuán)隊在今年四月在其總部部署了700節(jié)點(diǎn)的系統(tǒng)。
Hadoop適用于所有類型數(shù)據(jù)的特性注定將使Hadoop在更廣泛的領(lǐng)域使用。例如提供托管服務(wù)和中小型企業(yè)應(yīng)用服務(wù)提供商SunGrad。他們將計劃推出基于云的托管服務(wù),旨在幫助金融服務(wù)公司處理他們基于Hadoop MapReduce的數(shù)據(jù)處理。
商用軟件廠商Tidemark最近也推出一款SaaS軟件,這種基于云的性能管理應(yīng)用使用MapReduce將混合數(shù)據(jù)源轉(zhuǎn)化為產(chǎn)品或金融規(guī)劃方案。
三巨頭大數(shù)據(jù)領(lǐng)域齊發(fā)力
在上月美國拉斯維加斯舉行IOD年度大會上IBM院士、DB2總架構(gòu)師Curt Cotner宣布IBM將在明年推出內(nèi)置NoSQL技術(shù)的DB2旗艦級數(shù)據(jù)庫管理系統(tǒng)。他還表示未來的數(shù)據(jù)庫發(fā)展方向是非關(guān)系數(shù)據(jù)庫NoSQL。目前 Google的BigTable和Amazon的Dynamo都用NoSQL型數(shù)據(jù)庫,而傳統(tǒng)的關(guān)系數(shù)據(jù)庫在應(yīng)付超大規(guī)模、高并發(fā)的SNS、web2.0 網(wǎng)站已經(jīng)力不從心。同時IBM發(fā)布了一系列數(shù)據(jù)分析軟件,包括云計算版本的InfoSphere BigInsights。BigInsights是一套建立在Hadoop上的數(shù)據(jù)分析軟件,能夠處理企業(yè)用戶收集大量非結(jié)構(gòu)化資料。
微軟也在10月12日在西雅圖舉行的SQL PASS 2011峰會宣布將與從雅虎分拆出來的Hortonworks合作開發(fā)Hadoop,并將在Apache Hadoop上實(shí)現(xiàn)搭建Windows Azure以及Windows Server平臺。同時基于Hadoop的Windows Server還會與微軟現(xiàn)有的BI工具聯(lián)合處理任務(wù)。
Oracle作為全球最大的關(guān)系型數(shù)據(jù)庫提供商也有所行動。其在2011 Oracle全球大會上推出了Big Data Appliance。Big Data Appliance是一個集成了Hadoop、NoSQL Database、Oracle數(shù)據(jù)庫Hadoop適配器、Oracle數(shù)據(jù)庫Hadoop裝載器及R語言的系統(tǒng)。
Hadoop的未來
根據(jù)目前的狀況來看,Hadoop作為企業(yè)級數(shù)據(jù)倉庫體系結(jié)構(gòu)核心技術(shù),在未來的數(shù)年中將會保持持續(xù)增長的勢頭。包括MapR、Zettaset、 Cloudera、HStreaming、Hadapt、DataStax、Datameer這些與Hadoop相關(guān)的新公司已經(jīng)獲得投資,為人們所熟知,為各種市場帶來最新技術(shù)。
與此同時下一代的MapReduce會完善很多之前不盡人如意的地方。首先節(jié)點(diǎn)數(shù)將從目前的4000增加到6000-10000,其次并發(fā)的任務(wù)數(shù)從目前的40000增加到100000。另外將繼續(xù)加大對硬件支持,同時架構(gòu)也會有所改變,包括更多編程模式的支持。
歡迎轉(zhuǎn)載,本文版權(quán)歸于杭州網(wǎng)站建設(shè)(http://www.sharetheflairshow.com)
更多IT行業(yè)資訊:怎么樣提升(IT)產(chǎn)品用戶體驗(yàn)?
-
杭州網(wǎng)站設(shè)計公司:品牌網(wǎng)站開發(fā)助力企業(yè)成長
日期:2024-12-20瀏覽次數(shù):440次
-
杭州網(wǎng)站建設(shè)公司:商城網(wǎng)站建設(shè)的六大關(guān)鍵步驟
日期:2024-12-18瀏覽次數(shù):513次
-
杭州網(wǎng)站制作:醫(yī)院網(wǎng)站設(shè)計與域名備案的復(fù)雜性探討
日期:2024-12-18瀏覽次數(shù):519次
-
杭州網(wǎng)站制作公司:打造安全可靠的醫(yī)院網(wǎng)站
日期:2024-12-11瀏覽次數(shù):731次
-
杭州網(wǎng)站設(shè)計公司:數(shù)據(jù)庫在高端網(wǎng)站制作中的關(guān)鍵作用
日期:2024-12-11瀏覽次數(shù):701次
相關(guān)新聞
整合同類新聞,相關(guān)新聞一手掌握
-
南平app開發(fā)為什么一定要定制?
日期:2021-02-06瀏覽次數(shù):2068次
-
南平app開發(fā)人員需要什么資質(zhì)
日期:2021-02-06瀏覽次數(shù):2040次
-
南平網(wǎng)頁設(shè)計,怎樣設(shè)計有靈魂的網(wǎng)站?
日期:2020-10-21瀏覽次數(shù):2056次
-
南平做網(wǎng)站:個人網(wǎng)站的制作步驟
日期:2020-10-21瀏覽次數(shù):2021次
-
南平網(wǎng)站制作的未來前景
日期:2020-09-04瀏覽次數(shù):2136次
最新新聞
與互聯(lián)網(wǎng)同行,實(shí)時掌握網(wǎng)建行業(yè)最新動態(tài)
-
手機(jī)網(wǎng)站內(nèi)容設(shè)計知識_杭州網(wǎng)站設(shè)計
日期:2018-07-20瀏覽次數(shù):4632次
-
建設(shè)網(wǎng)站時需求一定要明確
日期:2019-11-26瀏覽次數(shù):1978次
-
網(wǎng)站優(yōu)化中TAG標(biāo)簽應(yīng)該如何使用
日期:2019-11-27瀏覽次數(shù):1917次
-
杭州定制app,怎樣做更加貼近用戶?
日期:2021-08-24瀏覽次數(shù):3517次
-
杭州app開發(fā),要注意這幾個常見錯誤
日期:2024-03-08瀏覽次數(shù):2052次
隨機(jī)新聞
新聞新動態(tài),您需要的新聞管家
洞悉市場趨勢演變讓傳播回歸社會
免費(fèi)獲取網(wǎng)站建設(shè)與網(wǎng)絡(luò)推廣方案報價
-
關(guān)于我們
杭州帷拓科技有限公司,是一家新型的全案網(wǎng)絡(luò)開發(fā)公司,作為以互聯(lián)網(wǎng)高端網(wǎng)站建設(shè)、APP開發(fā)、小程序開發(fā)為核心的專業(yè)網(wǎng)絡(luò)技術(shù)服務(wù)供應(yīng)商,帷拓科技致力于全面分析市場環(huán)境、衡量與預(yù)測市場需求、整合區(qū)別于行業(yè)競爭對手的絕對優(yōu)勢,結(jié)合品牌理念深度挖掘項目優(yōu)勢和產(chǎn)品價值,提升客戶品牌認(rèn)知、認(rèn)可度。
-
我們的客戶
帷拓科技?xì)v經(jīng)十年沉淀,與國內(nèi)外上千家客戶達(dá)成合作關(guān)系,其中穩(wěn)定合作的公司有:浙江華為、浙江移動、浙江5G產(chǎn)業(yè)聯(lián)盟、浙江省社科院、綠城足球俱樂部、娃哈哈雙語學(xué)校、健康中國杭州峰會、科雷機(jī)電等,帷拓科技始終堅持“帷有專業(yè),才能拓展無限”的服務(wù)理念,堅持“認(rèn)真堅持細(xì)節(jié)”的優(yōu)質(zhì)服務(wù)理念,不斷完善自身,成就企業(yè),最終實(shí)現(xiàn)共贏。
-
我們的業(yè)務(wù)
帷拓科技主營業(yè)務(wù)范圍包含互聯(lián)網(wǎng)高端網(wǎng)站建設(shè)、APP開發(fā)、小程序開發(fā)、商城網(wǎng)站建設(shè)、公眾號運(yùn)營以及數(shù)字營銷等,涵蓋了服務(wù)、房產(chǎn)、數(shù)碼、服裝、物流貿(mào)易等行業(yè),根據(jù)品牌現(xiàn)狀,為每個客戶量身定制項目整體服務(wù)方案,以敏銳的市場洞察力、創(chuàng)新的市場策劃能力,全面把握市場變化,為客戶實(shí)現(xiàn)從企業(yè)到消費(fèi)者的價值轉(zhuǎn)換。