免费亚洲欧美精品电影_国内精品偷拍福利视频_美女黄网站色视免费国产_国产不卡福利片在线观看

導(dǎo)讀：開源的數(shù)據(jù)處理平臺(tái)憑借其低成本、高擴(kuò)展性和靈活性的優(yōu)勢(shì)已經(jīng)贏得了多數(shù)網(wǎng)絡(luò)巨頭的認(rèn)可?，F(xiàn)在Hadoop將進(jìn)入更多企業(yè)。 IBM將在明年推出內(nèi)置NoSQL技術(shù)的DB2旗艦級(jí)數(shù)據(jù)庫(kù)管理系統(tǒng)。上個(gè)月Oracle和Microsoft也分別透露了將計(jì)劃在明年發(fā)布基于 Hadoop的產(chǎn)品。兩家公司都計(jì)劃提供協(xié)助部署服務(wù)和企業(yè)級(jí)支持。Oracle已經(jīng)承諾將會(huì)在大數(shù)據(jù)設(shè)備中預(yù)裝Hadoop軟件。

大數(shù)據(jù)革命正以Apache Hadoop為呼叫中心如火如荼的進(jìn)行著。自從開源分布式數(shù)據(jù)處理平臺(tái)在5年前發(fā)布時(shí)討論之聲就不絕于耳。但在過(guò)去的18個(gè)月中，Hadoop贏得了客戶的認(rèn)可，并得到眾多商業(yè)化的支持以及眾多數(shù)據(jù)庫(kù)和數(shù)據(jù)集成軟件商的整合。在眾多廠商之中最著名的三個(gè)商業(yè)數(shù)據(jù)供應(yīng)商當(dāng)屬Oracle、IBM和 Microsoft。

Hadoop會(huì)在未來(lái)成為大數(shù)據(jù)的重大技術(shù)嗎？

Hadoop是一個(gè)基于Java的分布式密集數(shù)據(jù)處理和數(shù)據(jù)分析的軟件框架。Hadoop在很大程度上是受Google在2004年白皮書中闡述的 MapReduce的技術(shù)啟發(fā)。MapReduce工作原理是將任務(wù)分解為成百上千塊的小任務(wù)，然后發(fā)送到計(jì)算機(jī)集群中。每臺(tái)計(jì)算機(jī)再傳送會(huì)自己那部分信息，MapReduce則迅速整合這些反饋并形成答案。

Hadoop的擴(kuò)展性非常優(yōu)秀，Hadoop可處理分布在數(shù)以千計(jì)的低成本X86服務(wù)器計(jì)算節(jié)點(diǎn)中的大型數(shù)據(jù)。同時(shí)由于眾所周知的摩爾定律，內(nèi)存和磁盤的容量也在不斷增長(zhǎng)。Hadoop對(duì)硬件的支持也在加強(qiáng)，現(xiàn)在每個(gè)節(jié)點(diǎn)可部署16核的處理器，12TB甚至24TB磁盤。Cloudera透露其推出的產(chǎn)品每個(gè)節(jié)點(diǎn)的成本大約4000美元。這個(gè)價(jià)格對(duì)于關(guān)系數(shù)據(jù)庫(kù)部署每TB 10000至12000美元來(lái)說(shuō)極具競(jìng)爭(zhēng)優(yōu)勢(shì)。

這種高容量低成本的組合引人注目，但Hadoop最吸引人的是其處理混合數(shù)據(jù)類型的能力。

Hadoop可以管理結(jié)構(gòu)化數(shù)據(jù)，以及諸如服務(wù)器日志文件和Web點(diǎn)擊流的數(shù)據(jù)。同時(shí)還可以管理以非結(jié)構(gòu)化文本為中心的數(shù)據(jù)，如Facebook和 Twitter。這種處理多類型數(shù)據(jù)的能力非常重要。它催生了NoSQL平臺(tái)和產(chǎn)品。如Cassandra, CouchDB, MongoDB以及Oracle最新的NoSQL數(shù)據(jù)庫(kù)。而傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)如Oracle，IBM DB2，Microsoft SQL Server和MySQL則都不能處理混合數(shù)據(jù)類型和非結(jié)構(gòu)化數(shù)據(jù)。 由于事務(wù)處理靈活性的需求，Hadoop獲得大多數(shù)數(shù)據(jù)分析廠商的關(guān)注和支持。

Hadoop已被廣泛應(yīng)用

現(xiàn)今，Hadoop已被認(rèn)為是非結(jié)構(gòu)化數(shù)據(jù)的專用技術(shù)。低成本、高擴(kuò)展性和靈活性等優(yōu)勢(shì)已成為處理大規(guī)模點(diǎn)擊流量分析和廣告定位等網(wǎng)絡(luò)巨頭（如AOL和comScore）的首選。

AOL三年多時(shí)間一直使用Hadoop。AOL的研發(fā)團(tuán)隊(duì)在加利福尼亞州的Mountain View部署了300節(jié)點(diǎn)的系統(tǒng)，該系統(tǒng)可以存儲(chǔ)每天數(shù)十億事件和超過(guò)500TB的點(diǎn)擊流數(shù)據(jù)。點(diǎn)擊所帶來(lái)流數(shù)據(jù)是高度結(jié)構(gòu)化的，但數(shù)據(jù)量是非常龐大和多樣的。所以幾乎不可能處理所有的提取、轉(zhuǎn)換和負(fù)載工作。AOL為了解決以上問(wèn)題決定使用Hadoop MapReduce處理分布在數(shù)百個(gè)計(jì)算節(jié)點(diǎn)的數(shù)據(jù)過(guò)濾和關(guān)聯(lián)任務(wù)。由于Hadoop為業(yè)務(wù)帶來(lái)的優(yōu)勢(shì)，AOL的Hadoop研發(fā)團(tuán)隊(duì)在今年四月在其總部部署了700節(jié)點(diǎn)的系統(tǒng)。

Hadoop適用于所有類型數(shù)據(jù)的特性注定將使Hadoop在更廣泛的領(lǐng)域使用。例如提供托管服務(wù)和中小型企業(yè)應(yīng)用服務(wù)提供商SunGrad。他們將計(jì)劃推出基于云的托管服務(wù)，旨在幫助金融服務(wù)公司處理他們基于Hadoop MapReduce的數(shù)據(jù)處理。

商用軟件廠商Tidemark最近也推出一款SaaS軟件，這種基于云的性能管理應(yīng)用使用MapReduce將混合數(shù)據(jù)源轉(zhuǎn)化為產(chǎn)品或金融規(guī)劃方案。

三巨頭大數(shù)據(jù)領(lǐng)域齊發(fā)力

在上月美國(guó)拉斯維加斯舉行IOD年度大會(huì)上IBM院士、DB2總架構(gòu)師Curt Cotner宣布IBM將在明年推出內(nèi)置NoSQL技術(shù)的DB2旗艦級(jí)數(shù)據(jù)庫(kù)管理系統(tǒng)。他還表示未來(lái)的數(shù)據(jù)庫(kù)發(fā)展方向是非關(guān)系數(shù)據(jù)庫(kù)NoSQL。目前 Google的BigTable和Amazon的Dynamo都用NoSQL型數(shù)據(jù)庫(kù)，而傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)在應(yīng)付超大規(guī)模、高并發(fā)的SNS、web2.0 網(wǎng)站已經(jīng)力不從心。同時(shí)IBM發(fā)布了一系列數(shù)據(jù)分析軟件，包括云計(jì)算版本的InfoSphere BigInsights。BigInsights是一套建立在Hadoop上的數(shù)據(jù)分析軟件，能夠處理企業(yè)用戶收集大量非結(jié)構(gòu)化資料。

微軟也在10月12日在西雅圖舉行的SQL PASS 2011峰會(huì)宣布將與從雅虎分拆出來(lái)的Hortonworks合作開發(fā)Hadoop，并將在Apache Hadoop上實(shí)現(xiàn)搭建Windows Azure以及Windows Server平臺(tái)。同時(shí)基于Hadoop的Windows Server還會(huì)與微軟現(xiàn)有的BI工具聯(lián)合處理任務(wù)。

Oracle作為全球最大的關(guān)系型數(shù)據(jù)庫(kù)提供商也有所行動(dòng)。其在2011 Oracle全球大會(huì)上推出了Big Data Appliance。Big Data Appliance是一個(gè)集成了Hadoop、NoSQL Database、Oracle數(shù)據(jù)庫(kù)Hadoop適配器、Oracle數(shù)據(jù)庫(kù)Hadoop裝載器及R語(yǔ)言的系統(tǒng)。

Hadoop的未來(lái)

根據(jù)目前的狀況來(lái)看，Hadoop作為企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)核心技術(shù)，在未來(lái)的數(shù)年中將會(huì)保持持續(xù)增長(zhǎng)的勢(shì)頭。包括MapR、Zettaset、 Cloudera、HStreaming、Hadapt、DataStax、Datameer這些與Hadoop相關(guān)的新公司已經(jīng)獲得投資，為人們所熟知，為各種市場(chǎng)帶來(lái)最新技術(shù)。

與此同時(shí)下一代的MapReduce會(huì)完善很多之前不盡人如意的地方。首先節(jié)點(diǎn)數(shù)將從目前的4000增加到6000-10000，其次并發(fā)的任務(wù)數(shù)從目前的40000增加到100000。另外將繼續(xù)加大對(duì)硬件支持，同時(shí)架構(gòu)也會(huì)有所改變，包括更多編程模式的支持。

  歡迎轉(zhuǎn)載，本文版權(quán)歸于杭州網(wǎng)站建設(shè)（http://www.sharetheflairshow.com）

  更多IT行業(yè)資訊：怎么樣提升(IT)產(chǎn)品用戶體驗(yàn)?