【杭州網站設計】高性能集群計算(HPCC)能取代Hadoop嗎？
分享 2011.07.02 瀏覽次數(shù)：8218次
LexisNexis公司將發(fā)布一款開源的數(shù)據處理方案，LexisNexis公司宣稱其處理工作負載的能力要優(yōu)于Hadoop。該技術被稱為HPCC系統(tǒng)，該系統(tǒng)在10年前幫助LexusNexis公司的Risk Solutions分析大量的客戶數(shù)據。并在金融業(yè)和其他重要的行業(yè)中應用?？磥鞨PCC（High-Performance Cluster Computing 高性能集群計算）似乎有能力成為替代Hadoop的解決方案。
據LexisNexis Risk Solutions部門CTO Armando Escalante表示，LexisNexis公司決定發(fā)布HPCC系統(tǒng)，目前的狀況是Hadoop技術已經成為處理海量數(shù)據的首選。Armando Escalante表示Hadoop雖然在海量數(shù)據處理方面走在前邊，但他認為HPCC系統(tǒng)更為優(yōu)越。
但重要的是，Hadoop的開源模式吸引了大量相關人員對其進行開發(fā)和創(chuàng)新。Armando Escalante解釋說，如果公司想要繼續(xù)保持HPCC的影響力就需要通過一個新社區(qū)提供應用和好的創(chuàng)意。
Hadoop是許多年前由當時的Yahoo員工Doug Cutting在Apache軟件基金會創(chuàng)建的項目。Hadoop現(xiàn)已成為網絡公司的重要工具。包括Yahoo、Facebook，并幫助他們處理不斷增長的非結構化數(shù)據。Hadoop催生了一批用于商業(yè)的基于分布式技術的產品，包括Cloudera，EMC和IBM等公司。
HPCC如何工作
Hadoop依靠兩個核心組件來存儲和處理海量數(shù)據——Hadoop分布式文件系統(tǒng)和Hadoop Mapreduce。Cloudant公司CEO Mike Miller認為MapReduce在編寫并行處理工作流時依然相對復雜，HPCC旨在通過ECL（Enterprise Control Language）改善這一局面。
Escalante表示ECL是一種聲明式并以數(shù)據為中心的語言，它剝離了大量MapReduce必要的工作。對于某些千行代碼的MapReduce任務ECL只需要99行。此外，他還表示ECL對集群中節(jié)點的數(shù)量沒有要求，系統(tǒng)會自動將數(shù)據分布式的存放在當前節(jié)點之中。從技術上講，HPCC還可以運行在單一的虛擬機上。HPCC基于C++，如同Google最早的Mapreduce，這使得HPCC天生在效率上就優(yōu)于基于Java開發(fā)的Hadoop。
HPCC提供兩種數(shù)據處理和服務的方式——Thor Data Refinery Cluster和Roxy Rapid Data Delivery Cluster。Escalante表示如此命名是因為其能像Thor(北歐神話中司雷、戰(zhàn)爭及農業(yè)的神)一樣解決困難的問題，Thor主要用來分析和索引大量的Hadoop數(shù)據。而Roxy則更像一個傳統(tǒng)的關系型數(shù)據庫或數(shù)據倉庫，甚至還可以處理Web前端的服務。
雖然沒有深入探討HPCC存儲組件的細節(jié)，但Escalante表示HPCC基于分布式文件系統(tǒng)，并可支持各種off-node存儲架構和本地的SSD。
Escalante認為為了確保LexisNexis產品質量，應采用“eating its own dogfood”（指軟件公司強調自己的軟件產品首先應內部使用，如果希望顧客購買公司的產品，公司內部也應該愿意使用它們）做法。HPCC開發(fā)團隊還聘請了Hadoop專家?guī)椭鷻z驗其產品是否有問題疏漏。HPCC還構建了一個轉換器，用于遷移Hadoop Pig編寫的應用并轉換為ECL。
HPCC具有競爭力嗎？
一個關鍵的問題是HPCC是否能吸引到業(yè)界的構建者和用戶，這將有助于提升其在海量數(shù)據領域的話語權。Escalante認為HPCC能夠成功，因為HPCC已經證明了自己，它已處理LexisNexis Risk Solutions的35000個數(shù)據源。同時HPCC還可以每秒處理5000次的和支付客戶打交道的交易事物。
Hadoop已經證明了自己，其潛在的巨大核心業(yè)務每天都在增長，現(xiàn)在企業(yè)和組織在海量數(shù)據上依托于Hadoop。但Hadoop并不滿足這些成就。這使得微軟也在海量數(shù)據的競爭中推出了自己的分布式計算技術Dryad。（李智/譯）
原文鏈接：GIGAOM
杭州網站設計公司 杭州網站建設公司 杭州網站制作公司 杭州網站設計 杭州網站建設 杭州網站制作 杭州精品網站制作 杭州精典網站制作
-
杭州網站設計公司：品牌網站開發(fā)助力企業(yè)成長
日期：2024-12-20瀏覽次數(shù)：355次
-
杭州網站建設公司：商城網站建設的六大關鍵步驟
日期：2024-12-18瀏覽次數(shù)：446次
-
杭州網站制作：醫(yī)院網站設計與域名備案的復雜性探討
日期：2024-12-18瀏覽次數(shù)：462次
-
杭州網站制作公司：打造安全可靠的醫(yī)院網站
日期：2024-12-11瀏覽次數(shù)：702次
-
杭州網站設計公司：數(shù)據庫在高端網站制作中的關鍵作用
日期：2024-12-11瀏覽次數(shù)：673次
相關新聞
整合同類新聞，相關新聞一手掌握
-
消防app開發(fā)功能與方案
日期：2021-03-19瀏覽次數(shù)：1866次
-
開發(fā)消防app的功能有什么作用？
日期：2021-03-09瀏覽次數(shù)：1821次
最新新聞
與互聯(lián)網同行，實時掌握網建行業(yè)最新動態(tài)
-
杭州網站建設|如何使用正確的標題
日期：2018-09-28瀏覽次數(shù)：4698次
-
荊州網站建設，這些編程語言需牢記
日期：2020-09-15瀏覽次數(shù)：2021次
-
威海網站制作：企業(yè)為什么要做雙語網站設計
日期：2020-10-21瀏覽次數(shù)：1923次
-
杭州小程序開發(fā)：杭州小程序有哪些運營方法？
日期：2021-01-04瀏覽次數(shù)：4216次
-
杭州網站營銷推廣：如何讓用戶自動裂變倍增？
日期：2021-01-07瀏覽次數(shù)：4506次
隨機新聞
新聞新動態(tài)，您需要的新聞管家
洞悉市場趨勢演變讓傳播回歸社會
免費獲取網站建設與網絡推廣方案報價
-
關于我們
杭州帷拓科技有限公司，是一家新型的全案網絡開發(fā)公司，作為以互聯(lián)網高端網站建設、APP開發(fā)、小程序開發(fā)為核心的專業(yè)網絡技術服務供應商，帷拓科技致力于全面分析市場環(huán)境、衡量與預測市場需求、整合區(qū)別于行業(yè)競爭對手的絕對優(yōu)勢，結合品牌理念深度挖掘項目優(yōu)勢和產品價值，提升客戶品牌認知、認可度。
-
我們的客戶
帷拓科技歷經十年沉淀，與國內外上千家客戶達成合作關系，其中穩(wěn)定合作的公司有：浙江華為、浙江移動、浙江5G產業(yè)聯(lián)盟、浙江省社科院、綠城足球俱樂部、娃哈哈雙語學校、健康中國杭州峰會、科雷機電等，帷拓科技始終堅持“帷有專業(yè)，才能拓展無限”的服務理念，堅持“認真堅持細節(jié)”的優(yōu)質服務理念，不斷完善自身，成就企業(yè)，最終實現(xiàn)共贏。
-
我們的業(yè)務
帷拓科技主營業(yè)務范圍包含互聯(lián)網高端網站建設、APP開發(fā)、小程序開發(fā)、商城網站建設、公眾號運營以及數(shù)字營銷等，涵蓋了服務、房產、數(shù)碼、服裝、物流貿易等行業(yè)，根據品牌現(xiàn)狀，為每個客戶量身定制項目整體服務方案，以敏銳的市場洞察力、創(chuàng)新的市場策劃能力，全面把握市場變化，為客戶實現(xiàn)從企業(yè)到消費者的價值轉換。
