免费亚洲欧美精品电影_国内精品偷拍福利视频_美女黄网站色视免费国产_国产不卡福利片在线观看

從Yahoo的 Web搜索研究，到Facebook的數(shù)據(jù)分析，再到百度的搜索日志分析、淘寶的數(shù)據(jù)魔方服務(wù)，Hadoop的身影都已經(jīng)到處閃現(xiàn)。簡(jiǎn)單來講，社會(huì)化數(shù)據(jù)時(shí)代的企業(yè)需要像八爪魚一樣，能夠發(fā)現(xiàn)并拿到他需要的數(shù)據(jù)，而Hadoop技術(shù)的好處就是，不但可以方便地嵌入到各種實(shí)際應(yīng)用中以實(shí)現(xiàn)全文搜索/索引，而且可以進(jìn)行數(shù)據(jù)抓取。比如雅虎，通過應(yīng)用這一技術(shù)，幾乎可以實(shí)時(shí)分析每一個(gè)頁(yè)面點(diǎn)擊并優(yōu)化內(nèi)容的排名，每7分鐘就能更新一次結(jié)果。

“PB級(jí)別的企業(yè)數(shù)據(jù)倉(cāng)庫(kù)已經(jīng)可以大規(guī)模并行處理數(shù)據(jù)并且可以對(duì)海量數(shù)據(jù)的分析數(shù)據(jù)進(jìn)行高效的管理”，F(xiàn)orrester的分析師James Kobielus表示。

以Hadoop為代表的海量數(shù)據(jù)處理開源工具無疑是吸引人的，“開源工具可以查看代碼，這樣開發(fā)者可以找到他們整合時(shí)里面是什么。在幾乎所有的案例中，開源分析都更具性價(jià)比和靈活性。”Revolution Analytics的Minelli表示。

毫無疑問，Hadoop在企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用上有許多優(yōu)勢(shì)，比如：

Hadoop是開源的。它能帶來較低的成本，無需支付高昂的授權(quán)許可費(fèi)。

其次是其靈活性，允許用戶自己修改代碼。

最后是可以獲得具有領(lǐng)先且創(chuàng)新性的Hadoop社區(qū)的支持。

更長(zhǎng)遠(yuǎn)的來看，開源Hadoop使企業(yè)有了新的分析技術(shù)，能夠更好的處理非結(jié)構(gòu)化的語(yǔ)言，比如圖片等。而不需要完全寄托于傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)廠商的分析技術(shù)，開源的Hadoop給了企業(yè)創(chuàng)新的機(jī)會(huì)。

Kobielus指出，Hadoop核心之所以成為企業(yè)數(shù)據(jù)倉(cāng)庫(kù)最佳解決方案，原因在于其數(shù)據(jù)庫(kù)分析方式與供應(yīng)商無關(guān)。再加上MapReduce框架的強(qiáng)大支持，將使其成為完美的企業(yè)級(jí)云數(shù)據(jù)倉(cāng)庫(kù)。

Hadoop最佳實(shí)踐案例

企業(yè)使用Hadoop在云計(jì)算中能夠做什么？Kobielus列舉出三個(gè)受歡迎的案例。

1、結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)

現(xiàn)在我們?cè)诼牭胶Ａ繑?shù)據(jù)的時(shí)候，主要的關(guān)注點(diǎn)通常會(huì)在一些互聯(lián)網(wǎng)巨頭上，像谷歌和Twitter都在使用，但互聯(lián)網(wǎng)其實(shí)并沒有創(chuàng)造大數(shù)據(jù)，也不會(huì)僅僅因?yàn)镠adoop就得到廣泛應(yīng)用。

在CSDN之前對(duì)1446個(gè)數(shù)據(jù)庫(kù)管理人員的調(diào)查中，有78％的被調(diào)查者表示，非結(jié)構(gòu)化數(shù)據(jù)是他們當(dāng)前面臨的最大問題，超過一半的人認(rèn)為，在未來的三年中，非結(jié)構(gòu)化數(shù)據(jù)將超過過去10年的結(jié)構(gòu)化數(shù)據(jù)總和。

實(shí)際上，金融服務(wù)企業(yè)已經(jīng)處理大型數(shù)據(jù)負(fù)載相當(dāng)長(zhǎng)的時(shí)間了，盡管到目前為止，其數(shù)據(jù)處理的效果不一定是最杰出的。企業(yè)最初時(shí)常創(chuàng)建并得到少量松散的數(shù)據(jù)。現(xiàn)在他們開始通過私有云進(jìn)行試驗(yàn)，而且通過Hadoop和MapReduce技術(shù)關(guān)聯(lián)數(shù)據(jù)方法，通過計(jì)算集群完成高速數(shù)據(jù)分析。

2、通過Hadoop日志對(duì)事件進(jìn)行分析，主要應(yīng)用是Web搜索

Hadoop的最常見用法之一是Web搜索。雖然它不是惟一的軟件框架應(yīng)用程序，但作為一個(gè)并行數(shù)據(jù)處理引擎，它的表現(xiàn)非常突出。Hadoop最有趣的方面之一是Map and Reduce流程，它受到Google開發(fā)的啟發(fā)。這個(gè)流程稱為創(chuàng)建索引，它將Web爬行器檢索到的文本W(wǎng)eb頁(yè)面作為輸入，并且將這些頁(yè)面上的單詞的頻率報(bào)告作為結(jié)果。然后可以在整個(gè)Web搜索過程中使用這個(gè)結(jié)果從已定義的搜索參數(shù)中識(shí)別內(nèi)容。

3、內(nèi)容層分析

借助Hadoop，我們可以線性擴(kuò)展運(yùn)行在硬件上的集群來集成更大更豐富的數(shù)據(jù)集。能夠在之前沒有整合的異構(gòu)數(shù)據(jù)源上運(yùn)行分析，然后在同樣的數(shù)據(jù)上有規(guī)模地運(yùn)行分析。

實(shí)際上，對(duì)于專業(yè)的數(shù)據(jù)分析人員而言，這個(gè)功能無疑會(huì)讓他們喜歡，因?yàn)榛贛apreduce建模的Hadoop所提供的數(shù)據(jù)挖掘功能，這極大他們了解到客戶的最新行為分析。如Flip Kromer（InfoChimps 創(chuàng)辦人之一）所描述的：“web從一個(gè)對(duì)每件事都了解一點(diǎn)的場(chǎng)所發(fā)展成為對(duì)一件事了解其全部的場(chǎng)所”。

Hadoop的未來

可以預(yù)見的是，Hadoop作為企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)核心技術(shù)，在未來的10年中它將會(huì)保持增長(zhǎng)。

盡管從技術(shù)上而言，Hadoop的MapReduce在性能上仍然有一定局限性的：比如MapReduce沒有索引，只有靠強(qiáng)大的運(yùn)算能力來處理；此外，MapReduce本身存在一些lower-level實(shí)現(xiàn)的問題, 特別是skew和數(shù)據(jù)交換等等。

Cloudscale創(chuàng)始人和首席執(zhí)行官Bill McColl也曾指出，從性能上而言，下一代的架構(gòu)需要在MapReduce/Hadoop的基礎(chǔ)上有10——10000倍的性能提高。

“但這些都不是問題”，Kobielus表示，“在這些問題解決之前，Hadoop會(huì)有廣泛的采用。因?yàn)橄鄬?duì)于傳統(tǒng)的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)，Hadoop是最好的。”

杭州網(wǎng)站建設(shè) 杭州網(wǎng)站設(shè)計(jì) 杭州網(wǎng)站制作 杭州精典網(wǎng)站設(shè)計(jì)公司