【杭州網站設計】MapReduce將會成為服務器的新朋友
分享 2011.06.28 瀏覽次數(shù):6803次
在未來,當管理員搭建服務器的時候,他很可能會給服務器集群、數(shù)據(jù)庫、中間件軟件裝上MapReduce。
加州大學圣地亞哥分校研究員Dionysios Logothetis在日前舉行的Usenix年度會議上表示,MapReduce可以在服務器上直接被用來分析日志數(shù)據(jù),無需在各個集群上單獨分析,也可以大幅縮短分析數(shù)據(jù)的時間。
MapReduce結構
利用該方法,“數(shù)據(jù)分析可以從專業(yè)集群上轉移到日志服務器上,從而避免昂貴的數(shù)據(jù)遷移成本支出”,Logothetis表示。MapReduce首先是由谷歌公司推出來的,它越來越多地被用來分析跨服務器和節(jié)點的大規(guī)模數(shù)據(jù)。目前,它主要擔當Hadoop數(shù)據(jù)處理平臺的一個組成部分。
雖然MapReduce大部分都使用在專業(yè)集群上,但研究人士表示分析軟件的框架版本也可以成為網絡服務器的一部分。當前商業(yè)網頁關于用戶的詳細日志信息,可以為廣告定位、網站安全監(jiān)控和調試提供數(shù)據(jù)支持。
根據(jù)統(tǒng)計,為繁忙的電子商務網站提供服務的單個服務器,在每秒鐘時間內能生成1MB至10MB有價值的日志數(shù)據(jù)。而在一天之內,它可以生成幾十兆兆字節(jié)有價值的數(shù)據(jù)量。平均而言,1000臺這樣的服務器在一天之內能生成86TB容量的數(shù)據(jù)信息。比如著名的社交網站Facebook一天所產生的數(shù)據(jù)量為100TB。
通常來說,大型公司比如Facebook這樣的站點都會收集不同服務器上的數(shù)據(jù),然后載入到Hadoop集群并使用 MapReduce分析其結果。
MapReduce實例
以往“先存儲后查詢”的方法具有諸多弊端。傳輸不同服務器上的數(shù)據(jù)會耗費大量的帶寬資源,對網絡構成巨大壓力。在進行數(shù)據(jù)分析之前,F(xiàn)acebook會丟棄80%的日志數(shù)據(jù)。通過使用這種新技術,這些數(shù)據(jù)就無需再進行傳輸了,更不會發(fā)生數(shù)據(jù)丟失的嚴重問題。
MapReduce在未來的服務器上可能將會成為一種標準配備,它將對數(shù)據(jù)進行分析并將分析后的結果傳達給中央數(shù)據(jù)采集點。研究人士將這一方法稱之為“in-situ MapReduce (iMR)”。
iMR旨在補充而不是取代傳統(tǒng)的集群架構,它是為了完成分布式存儲系統(tǒng)中的日志數(shù)據(jù)和其他數(shù)據(jù)后續(xù)分析。作為一項程序,iMR能復制所有的MapReduce APIs,并執(zhí)行MapReduce相類似的功能、對過濾的數(shù)據(jù)進行命名并匯集分析結果 。不同之處在于,它能基于最新數(shù)據(jù)的基礎上持續(xù)進行分析。
目前,研究員已經創(chuàng)建了一個iMR原型,通過iMR用戶可以指定需要分析處理的數(shù)據(jù)范圍,比如過去60秒鐘收集的所有信息。此外,用戶還可以設定多久提交一次分析結果并進行傳送,比如可以指定每15秒鐘分析一次等。
Logothetis表示,網絡服務器可能花費絕大多數(shù)資源在他們本應進行的工作上,被稱為給用戶提供服務。但是iMR可以利用剩下的循環(huán)處理日志數(shù)據(jù)。
據(jù)悉,研究員為此專門制定了一個計劃以建立處理速度和結果完整性之間的平衡,如果需要更快地獲得結果,那么每個服務器可以忽略掉一些很耗費時間的數(shù)據(jù),從何得到一個不那么完全,但仍是有意義的結果。而如果想得到一個全面的分析,則需要很長的時間和很大的服務器資源去完成。
當然,一個只運行少量服務器的組織可能不會從iMR中受益。但是大的運營商,例如搜索引擎,社交網絡和電子商務網站將會體驗到iMR的價值。
原文鏈接
杭州網站設計公司 杭州網站建設公司 杭州網站制作公司 杭州網站設計 杭州網站建設 杭州網站制作 杭州精品網站制作 杭州精典網站制作
-
杭州網站設計公司:品牌網站開發(fā)助力企業(yè)成長
日期:2024-12-20瀏覽次數(shù):356次
-
杭州網站建設公司:商城網站建設的六大關鍵步驟
日期:2024-12-18瀏覽次數(shù):451次
-
杭州網站制作:醫(yī)院網站設計與域名備案的復雜性探討
日期:2024-12-18瀏覽次數(shù):462次
-
杭州網站制作公司:打造安全可靠的醫(yī)院網站
日期:2024-12-11瀏覽次數(shù):704次
-
杭州網站設計公司:數(shù)據(jù)庫在高端網站制作中的關鍵作用
日期:2024-12-11瀏覽次數(shù):674次
相關新聞
整合同類新聞,相關新聞一手掌握
-
蚌埠app開發(fā)的成本為什么那么高?
日期:2021-02-03瀏覽次數(shù):1982次
-
實體美食店如何做蚌埠app開發(fā)?
日期:2021-02-02瀏覽次數(shù):1985次
-
蚌埠定制app設計細節(jié)有哪些
日期:2020-10-28瀏覽次數(shù):2053次
-
蚌埠app開發(fā),這些原則需要重視
日期:2020-10-28瀏覽次數(shù):1991次
-
蚌埠網頁設計,主要注重這幾點
日期:2020-09-15瀏覽次數(shù):2147次
最新新聞
與互聯(lián)網同行,實時掌握網建行業(yè)最新動態(tài)
-
中關村電子城轉型“最后一棒”:大賣場終結 鼎好大廈小業(yè)主面臨去留抉擇
日期:2020-04-02瀏覽次數(shù):5371次
-
論杭州小程序定制的報價
日期:2020-08-06瀏覽次數(shù):4892次
-
蚌埠定制app設計細節(jié)有哪些
日期:2020-10-28瀏覽次數(shù):2053次
-
常見大型企業(yè)杭州網站建設的方案
日期:2022-11-14瀏覽次數(shù):2536次
-
陽江網站設計過程中十個要注意的細節(jié)問題
日期:2023-02-08瀏覽次數(shù):1615次
隨機新聞
新聞新動態(tài),您需要的新聞管家
洞悉市場趨勢演變讓傳播回歸社會
免費獲取網站建設與網絡推廣方案報價
-
關于我們
杭州帷拓科技有限公司,是一家新型的全案網絡開發(fā)公司,作為以互聯(lián)網高端網站建設、APP開發(fā)、小程序開發(fā)為核心的專業(yè)網絡技術服務供應商,帷拓科技致力于全面分析市場環(huán)境、衡量與預測市場需求、整合區(qū)別于行業(yè)競爭對手的絕對優(yōu)勢,結合品牌理念深度挖掘項目優(yōu)勢和產品價值,提升客戶品牌認知、認可度。
-
我們的客戶
帷拓科技歷經十年沉淀,與國內外上千家客戶達成合作關系,其中穩(wěn)定合作的公司有:浙江華為、浙江移動、浙江5G產業(yè)聯(lián)盟、浙江省社科院、綠城足球俱樂部、娃哈哈雙語學校、健康中國杭州峰會、科雷機電等,帷拓科技始終堅持“帷有專業(yè),才能拓展無限”的服務理念,堅持“認真堅持細節(jié)”的優(yōu)質服務理念,不斷完善自身,成就企業(yè),最終實現(xiàn)共贏。
-
我們的業(yè)務
帷拓科技主營業(yè)務范圍包含互聯(lián)網高端網站建設、APP開發(fā)、小程序開發(fā)、商城網站建設、公眾號運營以及數(shù)字營銷等,涵蓋了服務、房產、數(shù)碼、服裝、物流貿易等行業(yè),根據(jù)品牌現(xiàn)狀,為每個客戶量身定制項目整體服務方案,以敏銳的市場洞察力、創(chuàng)新的市場策劃能力,全面把握市場變化,為客戶實現(xiàn)從企業(yè)到消費者的價值轉換。