免费亚洲欧美精品电影_国内精品偷拍福利视频_美女黄网站色视免费国产_国产不卡福利片在线观看

24小時咨詢電話:0571-88023217雙鴨山網站建設公司 10年專業(yè)網絡服務供應商

資訊中心

- 直擊網站建設第一現(xiàn)場,掌握全球化的消息 -

當前位置 : 首頁 > 資訊中心 > 【杭州網站設計】Hadoop是最完美的數據倉庫體系結構嗎?

【杭州網站設計】Hadoop是最完美的數據倉庫體系結構嗎?

分享 2011.06.10 瀏覽次數:7570次

從Yahoo的 Web搜索研究,到Facebook的數據分析,再到百度的搜索日志分析、淘寶的數據魔方服務,Hadoop的身影都已經到處閃現(xiàn)。簡單來講,社會化數據時代的企業(yè)需要像八爪魚一樣,能夠發(fā)現(xiàn)并拿到他需要的數據,而Hadoop技術的好處就是,不但可以方便地嵌入到各種實際應用中以實現(xiàn)全文搜索/索引,而且可以進行數據抓取。比如雅虎,通過應用這一技術,幾乎可以實時分析每一個頁面點擊并優(yōu)化內容的排名,每7分鐘就能更新一次結果。

“PB級別的企業(yè)數據倉庫已經可以大規(guī)模并行處理數據并且可以對海量數據的分析數據進行高效的管理”,F(xiàn)orrester的分析師James Kobielus表示。

以Hadoop為代表的海量數據處理開源工具無疑是吸引人的,“開源工具可以查看代碼,這樣開發(fā)者可以找到他們整合時里面是什么。在幾乎所有的案例中,開源分析都更具性價比和靈活性。”Revolution Analytics的Minelli表示。

毫無疑問,Hadoop在企業(yè)級數據倉庫應用上有許多優(yōu)勢,比如:

Hadoop是開源的。它能帶來較低的成本,無需支付高昂的授權許可費。

其次是其靈活性,允許用戶自己修改代碼。

最后是可以獲得具有領先且創(chuàng)新性的Hadoop社區(qū)的支持。

更長遠的來看,開源Hadoop使企業(yè)有了新的分析技術,能夠更好的處理非結構化的語言,比如圖片等。而不需要完全寄托于傳統(tǒng)數據倉庫廠商的分析技術,開源的Hadoop給了企業(yè)創(chuàng)新的機會。

Kobielus指出,Hadoop核心之所以成為企業(yè)數據倉庫最佳解決方案,原因在于其數據庫分析方式與供應商無關。再加上MapReduce框架的強大支持,將使其成為完美的企業(yè)級云數據倉庫。

Hadoop最佳實踐案例

企業(yè)使用Hadoop在云計算中能夠做什么?Kobielus列舉出三個受歡迎的案例。

1、結構化與非結構化數據

現(xiàn)在我們在聽到海量數據的時候,主要的關注點通常會在一些互聯(lián)網巨頭上,像谷歌和Twitter都在使用,但互聯(lián)網其實并沒有創(chuàng)造大數據,也不會僅僅因為Hadoop就得到廣泛應用。

在CSDN之前對1446個數據庫管理人員的調查中,有78%的被調查者表示,非結構化數據是他們當前面臨的最大問題,超過一半的人認為,在未來的三年中,非結構化數據將超過過去10年的結構化數據總和。

實際上,金融服務企業(yè)已經處理大型數據負載相當長的時間了,盡管到目前為止,其數據處理的效果不一定是最杰出的。企業(yè)最初時常創(chuàng)建并得到少量松散的數據。現(xiàn)在他們開始通過私有云進行試驗,而且通過Hadoop和MapReduce技術關聯(lián)數據方法,通過計算集群完成高速數據分析。

2、通過Hadoop日志對事件進行分析,主要應用是Web搜索

Hadoop的最常見用法之一是Web搜索。雖然它不是惟一的軟件框架應用程序,但作為一個并行數據處理引擎,它的表現(xiàn)非常突出。Hadoop最有趣的方面之一是Map and Reduce流程,它受到Google開發(fā)的啟發(fā)。這個流程稱為創(chuàng)建索引,它將Web爬行器檢索到的文本Web頁面作為輸入,并且將這些頁面上的單詞的頻率報告作為結果。然后可以在整個Web搜索過程中使用這個結果從已定義的搜索參數中識別內容。

3、內容層分析

借助Hadoop,我們可以線性擴展運行在硬件上的集群來集成更大更豐富的數據集。能夠在之前沒有整合的異構數據源上運行分析,然后在同樣的數據上有規(guī)模地運行分析。

實際上,對于專業(yè)的數據分析人員而言,這個功能無疑會讓他們喜歡,因為基于Mapreduce建模的Hadoop所提供的數據挖掘功能,這極大他們了解到客戶的最新行為分析。如Flip Kromer(InfoChimps 創(chuàng)辦人之一)所描述的:“web從一個對每件事都了解一點的場所發(fā)展成為對一件事了解其全部的場所”。

Hadoop的未來

可以預見的是,Hadoop作為企業(yè)級數據倉庫體系結構核心技術,在未來的10年中它將會保持增長。

盡管從技術上而言,Hadoop的MapReduce在性能上仍然有一定局限性的:比如MapReduce沒有索引,只有靠強大的運算能力來處理;此外,MapReduce本身存在一些lower-level實現(xiàn)的問題, 特別是skew和數據交換等等。

Cloudscale創(chuàng)始人和首席執(zhí)行官Bill McColl也曾指出,從性能上而言,下一代的架構需要在MapReduce/Hadoop的基礎上有10——10000倍的性能提高。

“但這些都不是問題”,Kobielus表示,“在這些問題解決之前,Hadoop會有廣泛的采用。因為相對于傳統(tǒng)的企業(yè)級數據倉庫體系結構,Hadoop是最好的。”

杭州網站建設 杭州網站設計 杭州網站制作 杭州精典網站設計公司

最新網站案例

洞悉市場趨勢演變讓傳播回歸社會

    免費獲取網站建設與網絡推廣方案報價

    • 關于我們

      杭州帷拓科技有限公司,是一家新型的全案網絡開發(fā)公司,作為以互聯(lián)網高端網站建設、APP開發(fā)、小程序開發(fā)為核心的專業(yè)網絡技術服務供應商,帷拓科技致力于全面分析市場環(huán)境、衡量與預測市場需求、整合區(qū)別于行業(yè)競爭對手的絕對優(yōu)勢,結合品牌理念深度挖掘項目優(yōu)勢和產品價值,提升客戶品牌認知、認可度。

    • 我們的客戶

      帷拓科技歷經十年沉淀,與國內外上千家客戶達成合作關系,其中穩(wěn)定合作的公司有:浙江華為、浙江移動、浙江5G產業(yè)聯(lián)盟、浙江省社科院、綠城足球俱樂部、娃哈哈雙語學校、健康中國杭州峰會、科雷機電等,帷拓科技始終堅持“帷有專業(yè),才能拓展無限”的服務理念,堅持“認真堅持細節(jié)”的優(yōu)質服務理念,不斷完善自身,成就企業(yè),最終實現(xiàn)共贏。

    • 我們的業(yè)務

      帷拓科技主營業(yè)務范圍包含互聯(lián)網高端網站建設、APP開發(fā)、小程序開發(fā)、商城網站建設、公眾號運營以及數字營銷等,涵蓋了服務、房產、數碼、服裝、物流貿易等行業(yè),根據品牌現(xiàn)狀,為每個客戶量身定制項目整體服務方案,以敏銳的市場洞察力、創(chuàng)新的市場策劃能力,全面把握市場變化,為客戶實現(xiàn)從企業(yè)到消費者的價值轉換。

    Designerpart Designagentur
    Designerpart Designagentur
    Designerpart Designagentur
    Designerpart Designagentur
    Designerpart Designagentur
    Designerpart Designagentur