免费亚洲欧美精品电影_国内精品偷拍福利视频_美女黄网站色视免费国产_国产不卡福利片在线观看

24小時(shí)咨詢電話:0571-88023217南平網(wǎng)站建設(shè)公司 10年專業(yè)網(wǎng)絡(luò)服務(wù)供應(yīng)商

資訊中心

- 直擊網(wǎng)站建設(shè)第一現(xiàn)場(chǎng),掌握全球化的消息 -

當(dāng)前位置 : 首頁(yè) > 資訊中心 > 【杭州網(wǎng)站設(shè)計(jì)】數(shù)據(jù)戰(zhàn)爭(zhēng)——直面海量處理+實(shí)時(shí)分析的雙重挑戰(zhàn)

【杭州網(wǎng)站設(shè)計(jì)】數(shù)據(jù)戰(zhàn)爭(zhēng)——直面海量處理+實(shí)時(shí)分析的雙重挑戰(zhàn)

分享 2011.07.08 瀏覽次數(shù):6724次

時(shí)至今日,“Bigdata”(大數(shù)據(jù))時(shí)代的來(lái)臨已經(jīng)毋庸置疑,尤其是在電信、金融等行業(yè), 幾乎已經(jīng)到了“數(shù)據(jù)就是業(yè)務(wù)本身”的地步。在這其中,還挾裹著一個(gè)更為重要的趨勢(shì),即數(shù)據(jù)的社會(huì)化(Socialization of Data)。從博客論壇到游戲社區(qū)再到微博,從互聯(lián)網(wǎng)到移動(dòng)互聯(lián)網(wǎng)再到物聯(lián)網(wǎng),人類以及各類物理實(shí)體的實(shí)時(shí)聯(lián)網(wǎng)已經(jīng)而且還將繼續(xù)產(chǎn)生難以估量的數(shù)據(jù)。對(duì)于時(shí)刻關(guān)注市場(chǎng)走向的企業(yè)來(lái)講,他們需要關(guān)注的數(shù)據(jù)顯然已經(jīng)不僅限于企業(yè)內(nèi)部數(shù)據(jù)庫(kù)中的業(yè)務(wù)數(shù)據(jù),還要包括互聯(lián)網(wǎng)(以及未來(lái)的物聯(lián)網(wǎng))上各類網(wǎng)絡(luò)活動(dòng)所產(chǎn)生的相關(guān)數(shù)據(jù)記錄。

顯然,大數(shù)據(jù)是一種創(chuàng)新,它在任何時(shí)候都知道你在哪里。我們可以以有效方式利用這些數(shù)據(jù),而且已經(jīng)看到了市場(chǎng)需求。

日前,在北京舉辦的大數(shù)據(jù)世界論壇上,內(nèi)存計(jì)算、實(shí)時(shí)查詢、有效的存儲(chǔ)管理、智能挖掘分析,成為了眾多IT人士關(guān)注的焦點(diǎn)。

用戶需求——海量+實(shí)時(shí)分析

來(lái)自IDC全球存儲(chǔ)及大數(shù)據(jù)研究項(xiàng)目副總裁Benjamin Woo表示,到2020年,全球數(shù)據(jù)使用量預(yù)計(jì)暴增44倍,達(dá)到35.2ZB。35ZB是什么概念呢?(1ZB=1024EB=1048576PB=1073741824TB,1073741824TB*35=37580963840TB),也就是說(shuō)全球大概需要376億個(gè)1TB硬盤來(lái)存儲(chǔ)數(shù)據(jù)。

而另一個(gè)需求則來(lái)自于對(duì)海量數(shù)據(jù)的實(shí)時(shí)查詢?cè)L問(wèn)需求。在數(shù)據(jù)倉(cāng)庫(kù)誕生的第一天,一直就有一個(gè)話題,要把大查詢分解成小任務(wù),這些小任務(wù)由一臺(tái)臺(tái)的機(jī)器來(lái)完成。

“我們的要求在于,上億條數(shù)據(jù)的分析能夠在5秒鐘內(nèi)完成”,中國(guó)民族證券信息技術(shù)部總經(jīng)理顏陽(yáng)表示,在證券行業(yè)由于發(fā)展的波動(dòng)性很大,因此證券公司的投入也是基于量入為出,采用了MPP(大規(guī)模并行處理)架構(gòu)的數(shù)據(jù)庫(kù)(數(shù)據(jù)倉(cāng)庫(kù))。其基本特征在于是由多個(gè)SMP服務(wù)器通過(guò)節(jié)點(diǎn)互連,而每個(gè)節(jié)點(diǎn)只能訪問(wèn)本地資源,是一種完全無(wú)共享的結(jié)構(gòu),因此擴(kuò)展性很好。當(dāng)基于此數(shù)據(jù)庫(kù)來(lái)開發(fā)應(yīng)用時(shí),不需要考慮服務(wù)器由多少節(jié)點(diǎn)組成,也不需要考慮負(fù)載問(wèn)題。

顯然,和NUMA架構(gòu)(非一致性存儲(chǔ)訪問(wèn))相比,MPP的優(yōu)勢(shì)在于更適合復(fù)雜的數(shù)據(jù)總和分析與處理。當(dāng)然它也需要借助支持MPP的數(shù)據(jù)庫(kù)系統(tǒng)來(lái)屏蔽節(jié)點(diǎn)之間的負(fù)載均衡與調(diào)度復(fù)雜性。

同時(shí),顏陽(yáng)也給出了BI和ETL工具選型建議——兼容性、操作性、功能性、展現(xiàn)力、維護(hù)性。他表示,在數(shù)據(jù)中心,每一個(gè)轉(zhuǎn)換要保證數(shù)據(jù)的完整性和準(zhǔn)確性,要進(jìn)行安全性的管理和控制,這些都要通過(guò)開發(fā)工具加上適度的編程來(lái)實(shí)現(xiàn)。如果開發(fā)團(tuán)隊(duì)對(duì)這個(gè)工具的理解和整合程度不好的話,最后的數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)會(huì)形成很多垃圾,甚至造成很多錯(cuò)誤的數(shù)據(jù)出現(xiàn)。因此,要兼顧五個(gè)方面去開展。

大數(shù)據(jù)并不等于IT重構(gòu)

本次大會(huì)傳遞出來(lái)的另一個(gè)信息是,對(duì)真正需要大數(shù)據(jù)的企業(yè)而言,大數(shù)據(jù)的需求并不等于IT重構(gòu)。

實(shí)際上,并非所有的數(shù)據(jù)都需要進(jìn)行分析,對(duì)企業(yè)而言,核心在于找出關(guān)鍵的數(shù)據(jù),并運(yùn)用適合MPP系統(tǒng)的相干數(shù)據(jù),得到一些結(jié)構(gòu)化的數(shù)據(jù),而一些非結(jié)構(gòu)化的數(shù)據(jù),可以用Hadoop進(jìn)行處理。

另一方面,大數(shù)據(jù)的基礎(chǔ)架構(gòu)需要的是前瞻性,隨著數(shù)據(jù)的不斷增長(zhǎng),用戶需要從硬體、軟件層面思考需要什么樣的架構(gòu)去實(shí)現(xiàn)。必然,未來(lái)需要的是一個(gè)能夠支持非常好的、可擴(kuò)張性的、對(duì)文件存儲(chǔ)友好的文件系統(tǒng)。

目前,不管是IBM、EMC還是SAP都推出了自己的Bigdata Total solution,從中對(duì)比我們可見一斑。

IBM——數(shù)據(jù)倉(cāng)庫(kù)一體機(jī)

IBM將數(shù)據(jù)倉(cāng)庫(kù)做成了硬件化的產(chǎn)品,標(biāo)配Power服務(wù)器、存儲(chǔ),再加上剛收購(gòu)的Netezza。Netezza新型數(shù)據(jù)倉(cāng)庫(kù)一體機(jī)渠道經(jīng)理鄭曉軍表示,“凡是玩過(guò)云計(jì)算、Hadoop的用戶,對(duì)于Netezza的環(huán)境搭建只是小菜一碟。”據(jù)了解,Netezza一體機(jī)是一個(gè)小型的、成集成度很高的多機(jī)并行處理環(huán)境。其架構(gòu)基于MPP,由兩個(gè)Hosts系統(tǒng)接受查詢請(qǐng)求,查詢語(yǔ)句將分散成幾十個(gè)或者上百個(gè)分片,傳給第二層,第二層的每一個(gè)單元是一樣的(內(nèi)部名稱S-Blades分區(qū)內(nèi)存),再把每一個(gè)分片看成MPP環(huán)境中的每一臺(tái)機(jī)器,中間的網(wǎng)絡(luò)構(gòu)成MPP網(wǎng)絡(luò)。

當(dāng)數(shù)據(jù)存進(jìn)去的時(shí)候,會(huì)把數(shù)據(jù)平均的分在所有的節(jié)點(diǎn)上,節(jié)點(diǎn)的均衡是由Netezza自己來(lái)決定的。數(shù)據(jù)存在硬盤的時(shí)候用的格式是“Zone Maps”,把一張表里所有的字段,根據(jù)值不同,分了所有的分片。有了Zone Maps之后,F(xiàn)PGA掃描的時(shí)候,只會(huì)讀取那些包含記錄的區(qū)域,這些地方硬盤加速效率很高的。如果數(shù)據(jù)修改的話,會(huì)在新增添的數(shù)據(jù)記錄里面增添,定時(shí)會(huì)對(duì)數(shù)據(jù)重組,進(jìn)行壓縮,這些都是通過(guò)后臺(tái)進(jìn)程管理的。

EMC——自服務(wù)數(shù)據(jù)倉(cāng)庫(kù)

Greenplum Chorus是EMC的數(shù)據(jù)云平臺(tái),堆棧了各種大數(shù)據(jù)分析工具(業(yè)務(wù)分析、BI、統(tǒng)計(jì)等)。

EMC中國(guó)研發(fā)中心首席技術(shù)官陶波表示,Greenplum Chorus構(gòu)成主要由自助式的調(diào)配、數(shù)據(jù)服務(wù)協(xié)作分析所組成。當(dāng)用戶同時(shí)部署Chorus、VMware、Greenplum后,可以完全實(shí)現(xiàn)自服務(wù),自服務(wù)可以是一個(gè)服務(wù)器,也可以生成一個(gè)沙箱,而這個(gè)沙箱既可以基于虛擬化的IT云計(jì)算平臺(tái)上,也可以是在Greenplum的數(shù)據(jù)庫(kù)上。同時(shí),用戶可以把在企業(yè)云里面其他的原數(shù)據(jù)導(dǎo)入到自己的沙箱中進(jìn)行操作。與此同時(shí),開發(fā)者還可以創(chuàng)造一個(gè)合作環(huán)境,在分享數(shù)據(jù)的同時(shí)要控制授權(quán),避免私人數(shù)據(jù)被不適當(dāng)?shù)氖褂谩1热鐚懸欢蜶代碼,并把R代碼進(jìn)行分享,同時(shí)看到別人的評(píng)論,可以隨時(shí)隨地的進(jìn)行自己的工作。

SAP——內(nèi)存計(jì)算+開放平臺(tái)

SAP在此次大會(huì)上提出了開放的內(nèi)存計(jì)算平臺(tái)HANA,據(jù)SAP解決方案和架構(gòu)部總經(jīng)理張志琦介紹,HANA將成為SAP未來(lái)的平臺(tái),未來(lái)所有的應(yīng)用都會(huì)發(fā)布在HANA平臺(tái)之上,并且用作實(shí)時(shí)分析。而HANA將主要用于實(shí)時(shí)處理大量交易數(shù)據(jù)的軟件,包括數(shù)據(jù)建模、數(shù)據(jù)和生命周期管理、安全、運(yùn)營(yíng)的工具,基于行業(yè)標(biāo)準(zhǔn)為多個(gè)接口提供支持。

“內(nèi)存比磁盤計(jì)算快1000000倍,傳統(tǒng)數(shù)據(jù)庫(kù)磁盤讀取速度是5毫秒,內(nèi)存數(shù)據(jù)庫(kù)磁盤讀取速度是5納秒。用戶可以利用內(nèi)存高速的性能,更快速的獲取數(shù)據(jù)、匯總數(shù)據(jù)、分析數(shù)據(jù)。此外,大數(shù)據(jù)時(shí)代,一臺(tái)服務(wù)器不一定夠,用戶可以通過(guò)分而治之的方式將動(dòng)態(tài)的服務(wù)器分到不同的節(jié)點(diǎn)上,快速的進(jìn)行數(shù)據(jù)分散計(jì)算、數(shù)據(jù)分散匯總、獲取更快速的結(jié)果。每臺(tái)服務(wù)器還有更多的CPU,可以在總的內(nèi)存計(jì)算中更給力。所有的數(shù)據(jù)都可以通過(guò)分布式的環(huán)境。”

張志琦表示,“HANA將是一個(gè)開放的平臺(tái),SAP將和業(yè)務(wù)伙伴等在HANA之上開發(fā)應(yīng)用,體現(xiàn)更多的支持。SAP HANA平臺(tái)將支持更多的內(nèi)存應(yīng)用程序,比如報(bào)表、運(yùn)營(yíng)報(bào)告、能力分析加速器,更多的獲取價(jià)值。HANA不僅僅是分析應(yīng)用,更多的是一個(gè)業(yè)務(wù)應(yīng)用。我們希望企業(yè)可以在不需要IT人員關(guān)注的情況下就可以獲得信息的獲取。這本身是SAP HANA平臺(tái)提供的能力。”

數(shù)據(jù)分析職業(yè)未來(lái)很吃香

 

隨著大數(shù)據(jù)的流行,可以預(yù)見的是,數(shù)據(jù)分析師將是將來(lái)最熱門的行業(yè)之一,大量的行業(yè)比如政府、能源行業(yè)、互聯(lián)網(wǎng)行業(yè)都需要數(shù)據(jù)科學(xué)家,而這些數(shù)據(jù)科學(xué)家要不斷的提出關(guān)鍵性、對(duì)業(yè)務(wù)有重大啟示性的問(wèn)題。阿里巴巴目前已經(jīng)有一百多個(gè)數(shù)據(jù)分析家,他們不同的部門都在對(duì)數(shù)據(jù)進(jìn)行分析,共享對(duì)于數(shù)據(jù)的分析以及和數(shù)據(jù)管理員、企業(yè)管理層形成合作性的數(shù)據(jù)分析。

Informatica企業(yè)數(shù)據(jù)集成產(chǎn)品管理總監(jiān)鄭瑋表示,大數(shù)據(jù)分析師可能會(huì)有越來(lái)越大的需要,可能是IT組織的一部分,也可能是業(yè)務(wù)組織的一部分。從互聯(lián)網(wǎng)的情況來(lái)看,提供用戶的價(jià)值,可以發(fā)掘很多用戶價(jià)值,比如汽車銷售等等有直接的銷售影響。在世界的各個(gè)地方,尤其是一些數(shù)據(jù)比較多的、比較成熟的行業(yè)中,會(huì)有大量的數(shù)據(jù)分析、數(shù)據(jù)科學(xué)家的需求。

Teradata天睿公司首席客戶官周俊凌談到,企業(yè)必須要有一些專注于數(shù)據(jù)研究的科學(xué)家,一旦有了數(shù)據(jù)科學(xué)家,企業(yè)需要對(duì)數(shù)據(jù)科學(xué)要進(jìn)行相關(guān)培訓(xùn),了解相關(guān)的業(yè)務(wù)。

IBM硅谷實(shí)驗(yàn)室大數(shù)據(jù)項(xiàng)目總監(jiān)Steven Sitze則認(rèn)為,現(xiàn)在一些大的企業(yè)都有數(shù)據(jù)分析師。而這些數(shù)據(jù)分析師現(xiàn)在并沒(méi)有分析大量或者子類型的數(shù)據(jù),這在發(fā)展工具上會(huì)有很大的機(jī)會(huì)。對(duì)企業(yè)而言,光有一個(gè)大數(shù)據(jù)的平臺(tái)是不夠的,要有一些發(fā)展的工具幫助他們利用來(lái)展示大數(shù)據(jù)的分析展示能力。

觀察:大數(shù)據(jù)產(chǎn)業(yè)才剛剛上路

對(duì)數(shù)據(jù)存儲(chǔ)廠商來(lái)說(shuō),不管是大數(shù)據(jù)還是海量數(shù)據(jù)還是有不少挑戰(zhàn)存在,首當(dāng)其沖的是,他們必須要強(qiáng)化關(guān)聯(lián)式數(shù)據(jù)庫(kù)的效能,增加數(shù)據(jù)管理和數(shù)據(jù)壓縮的功能。

因?yàn)檫^(guò)往關(guān)聯(lián)性數(shù)據(jù)庫(kù)產(chǎn)品處理大量數(shù)據(jù)時(shí)的運(yùn)算速度都不快,需要引進(jìn)新技術(shù)比如Hadoop來(lái)加速數(shù)據(jù)查詢的功能。另外,數(shù)據(jù)存儲(chǔ)的廠商也開始嘗試不只采用傳統(tǒng)硬盤來(lái)存儲(chǔ)數(shù)據(jù),像是使用快速閃存的數(shù)據(jù)庫(kù)、閃存數(shù)據(jù)庫(kù)等,都逐漸產(chǎn)生。

另一個(gè)挑戰(zhàn)就是傳統(tǒng)關(guān)聯(lián)性數(shù)據(jù)庫(kù)無(wú)法分析非結(jié)構(gòu)化數(shù)據(jù),因此,并購(gòu)具有分析非結(jié)構(gòu)化數(shù)據(jù)的廠商以及數(shù)據(jù)管理廠商,是目前數(shù)據(jù)存儲(chǔ)大廠擴(kuò)展實(shí)力的方向。

同時(shí),數(shù)據(jù)管理的影響也在于對(duì)數(shù)據(jù)安全的考量。IDC軟件市場(chǎng)分析師吳乃沛表示,大數(shù)據(jù)對(duì)于存儲(chǔ)技術(shù)與資源安全也都會(huì)產(chǎn)生沖擊。首先,快照、重復(fù)數(shù)據(jù)刪除等技術(shù)在大數(shù)據(jù)時(shí)代都很重要,就衍生了數(shù)據(jù)權(quán)限的管理。

舉例來(lái)說(shuō),現(xiàn)在企業(yè)后端與前端所看到的數(shù)據(jù)模式并不一樣,當(dāng)企業(yè)要處理非結(jié)構(gòu)化數(shù)據(jù)時(shí),就必須制定出是IT部門還是業(yè)務(wù)單位才是數(shù)據(jù)管理者。由于這牽涉的不僅是技術(shù)問(wèn)題,還有公司政策的制定,因此界定出數(shù)據(jù)管理者是企業(yè)目前最頭痛的問(wèn)題,而這一切,對(duì)大數(shù)據(jù)而言,不管是技術(shù)還是應(yīng)用都才剛剛上路。

杭州網(wǎng)站設(shè)計(jì)公司 杭州網(wǎng)站建設(shè)公司 杭州網(wǎng)站制作公司  杭州網(wǎng)站設(shè)計(jì) 杭州網(wǎng)站建設(shè) 杭州網(wǎng)站制作  杭州精品網(wǎng)站制作 杭州精典網(wǎng)站制作 杭州精品網(wǎng)站設(shè)計(jì)

最新網(wǎng)站案例

洞悉市場(chǎng)趨勢(shì)演變讓傳播回歸社會(huì)

    免費(fèi)獲取網(wǎng)站建設(shè)與網(wǎng)絡(luò)推廣方案報(bào)價(jià)

    • 關(guān)于我們

      杭州帷拓科技有限公司,是一家新型的全案網(wǎng)絡(luò)開發(fā)公司,作為以互聯(lián)網(wǎng)高端網(wǎng)站建設(shè)、APP開發(fā)、小程序開發(fā)為核心的專業(yè)網(wǎng)絡(luò)技術(shù)服務(wù)供應(yīng)商,帷拓科技致力于全面分析市場(chǎng)環(huán)境、衡量與預(yù)測(cè)市場(chǎng)需求、整合區(qū)別于行業(yè)競(jìng)爭(zhēng)對(duì)手的絕對(duì)優(yōu)勢(shì),結(jié)合品牌理念深度挖掘項(xiàng)目?jī)?yōu)勢(shì)和產(chǎn)品價(jià)值,提升客戶品牌認(rèn)知、認(rèn)可度。

    • 我們的客戶

      帷拓科技?xì)v經(jīng)十年沉淀,與國(guó)內(nèi)外上千家客戶達(dá)成合作關(guān)系,其中穩(wěn)定合作的公司有:浙江華為、浙江移動(dòng)、浙江5G產(chǎn)業(yè)聯(lián)盟、浙江省社科院、綠城足球俱樂(lè)部、娃哈哈雙語(yǔ)學(xué)校、健康中國(guó)杭州峰會(huì)、科雷機(jī)電等,帷拓科技始終堅(jiān)持“帷有專業(yè),才能拓展無(wú)限”的服務(wù)理念,堅(jiān)持“認(rèn)真堅(jiān)持細(xì)節(jié)”的優(yōu)質(zhì)服務(wù)理念,不斷完善自身,成就企業(yè),最終實(shí)現(xiàn)共贏。

    • 我們的業(yè)務(wù)

      帷拓科技主營(yíng)業(yè)務(wù)范圍包含互聯(lián)網(wǎng)高端網(wǎng)站建設(shè)、APP開發(fā)、小程序開發(fā)、商城網(wǎng)站建設(shè)、公眾號(hào)運(yùn)營(yíng)以及數(shù)字營(yíng)銷等,涵蓋了服務(wù)、房產(chǎn)、數(shù)碼、服裝、物流貿(mào)易等行業(yè),根據(jù)品牌現(xiàn)狀,為每個(gè)客戶量身定制項(xiàng)目整體服務(wù)方案,以敏銳的市場(chǎng)洞察力、創(chuàng)新的市場(chǎng)策劃能力,全面把握市場(chǎng)變化,為客戶實(shí)現(xiàn)從企業(yè)到消費(fèi)者的價(jià)值轉(zhuǎn)換。

    Designerpart Designagentur
    Designerpart Designagentur
    Designerpart Designagentur
    Designerpart Designagentur
    Designerpart Designagentur
    Designerpart Designagentur