1億在線背后的技術(shù)挑戰(zhàn)是什么?
分享 2011.11.01 瀏覽次數(shù):7007次
智慧騰訊 夢(mèng)想互聯(lián)——1億在線背后的技術(shù)挑戰(zhàn)
標(biāo)簽:杭州網(wǎng)站建設(shè) 杭州網(wǎng)站制作 杭州網(wǎng)站設(shè)計(jì)
由CSDN、《程序員》、騰訊共同舉辦的TUP第十六期:智慧騰訊 夢(mèng)想互聯(lián)——1億在線背后的技術(shù)挑戰(zhàn)活動(dòng)于10月31日在北京航空航天大學(xué)學(xué)術(shù)交流廳舉行。同時(shí)本次活動(dòng)邀請(qǐng)到了騰訊通平臺(tái)部高級(jí)技術(shù)總監(jiān)、騰訊T4級(jí)技術(shù)專家、騰訊軟件開發(fā)通道分會(huì)會(huì)長(zhǎng)莊泗華先生。
眾所周知海量互聯(lián)網(wǎng)服務(wù)能力是世界公認(rèn)的技術(shù)難題。經(jīng)過十多年的發(fā)展,騰訊在海量互聯(lián)網(wǎng)服務(wù)方面已有不少技術(shù)積累。莊泗華先生在本次演講中以QQ IM后臺(tái)服務(wù)為例,重現(xiàn)了QQ在線用戶從百萬級(jí)到億級(jí)的整個(gè)過程中遇到的技術(shù)挑戰(zhàn),并與與會(huì)者分享了眾多在海量互聯(lián)網(wǎng)后臺(tái)服務(wù)研發(fā)運(yùn)營(yíng)方面不為人知的秘密。
擔(dān)任本次活動(dòng)主持人的是CSDN&《程序員》雜志總編劉江。他主要介紹了CSDN舉辦TUP活動(dòng)的宗旨。
CSDN&《程序員》雜志總編劉江致開場(chǎng)詞
騰訊通平臺(tái)部高級(jí)技術(shù)總監(jiān)莊泗華演講
莊泗華表示QQ現(xiàn)在面臨7億活躍賬戶,每日1.4億用戶同時(shí)在線。QQ過萬臺(tái)IM服務(wù)器和百億級(jí)的關(guān)系鏈對(duì)數(shù)每天接受千億級(jí)的服務(wù)請(qǐng)求考驗(yàn)。在這些苛刻的數(shù)字面前騰訊要保證99.99%的可用性。當(dāng)然團(tuán)隊(duì)在QQ在線從10萬到1.4億的整個(gè)過程也經(jīng)歷了很多破折,同時(shí)從十萬級(jí)、百萬級(jí)、千萬級(jí)最終到億級(jí)在線騰訊也吸取了很多教訓(xùn)。這也說明了騰訊對(duì)海量服務(wù)的理解是長(zhǎng)期積累的結(jié)果。
第一代架構(gòu)難以支持百萬級(jí)在線
莊泗華在演講中提到了騰訊的第一代架構(gòu)。他表示當(dāng)達(dá)到一百萬在線時(shí),老架構(gòu)會(huì)有各方面的瓶頸出現(xiàn)。以接入服務(wù)器的內(nèi)存為例,單個(gè)在線用戶的存儲(chǔ)量約為2KB,索引和在線狀態(tài)50字節(jié)。好友表400個(gè)好友 * 5字節(jié)/好友等于2000字節(jié)。大致來說,2G內(nèi)存只能支持一百萬在線用戶。與此同時(shí),還有CPU/網(wǎng)卡包量和流量/交換機(jī)流量等瓶頸。其他服務(wù)器也面臨類似情況。單臺(tái)服務(wù)器支撐不下所有在線用戶/注冊(cè)用戶。第一代架構(gòu)已無以為繼。
莊泗華認(rèn)為十萬級(jí)到百萬級(jí)在線的關(guān)鍵技術(shù)是高性能和實(shí)現(xiàn)7乘24小時(shí)連續(xù)服務(wù)。實(shí)現(xiàn)高性能的關(guān)鍵因素包括絕不使用企業(yè)級(jí)解決方案、邏輯層多進(jìn)程、萬有一失的無鎖設(shè)計(jì)、用戶態(tài)IPC、MySQL分庫(kù)分表以及好友表自寫文件存儲(chǔ)。而通過大系統(tǒng)小做、平滑重構(gòu)、核心數(shù)據(jù)放入共享內(nèi)存、接入層與邏輯層分離以及命令分發(fā)動(dòng)態(tài)配置化可保證QQ后臺(tái)實(shí)現(xiàn)7乘24小時(shí)連續(xù)服務(wù)。
第二代架構(gòu)難以支持千萬級(jí)在線
同樣第二代架構(gòu)也存在一些問題。包括同步流量太大、狀態(tài)同步服務(wù)器遇到單機(jī)瓶頸、所有在線用戶的在線狀態(tài)信息量太大、單臺(tái)接入服務(wù)器存不下等問題。并且當(dāng)在線數(shù)進(jìn)一步增加,單臺(tái)狀態(tài)同步服務(wù)器不能滿足需求,單臺(tái)狀態(tài)同步服務(wù)器支撐不了所有在線用戶,單臺(tái)接入服務(wù)器也支撐不了所有在線用戶的在線狀態(tài)信息。
通過深入分析,騰訊發(fā)現(xiàn)后臺(tái)機(jī)器越來越多,單機(jī)死機(jī)/故障就會(huì)經(jīng)常出現(xiàn)。同時(shí)每周新代碼的發(fā)布也導(dǎo)致BUG不斷出現(xiàn),嚴(yán)重影響服務(wù)。監(jiān)控機(jī)制的相對(duì)原始導(dǎo)致報(bào)警設(shè)置不全。最后當(dāng)運(yùn)維操作通過vim或者mysql進(jìn)行時(shí)也非常容易失誤。
莊泗華表示想要解決這些問題就需要對(duì)現(xiàn)有架構(gòu)進(jìn)行改造。這包括對(duì)外提供高可用性的服務(wù)、對(duì)內(nèi)提供高可運(yùn)維性的系統(tǒng)。同時(shí)灰度發(fā)布、運(yùn)營(yíng)監(jiān)控、容災(zāi)以及運(yùn)維自動(dòng)化/半自動(dòng)化也是解決千萬級(jí)在線所面臨問題的關(guān)鍵技術(shù)。
億級(jí)在線時(shí)代的到來
IM億級(jí)在線存儲(chǔ)系統(tǒng)架構(gòu)
隨著億時(shí)代在線到來,騰訊也面臨了新的問題。通過對(duì)原有系統(tǒng)持續(xù)完善已經(jīng)很難支撐億級(jí)在線。
莊泗華表示億時(shí)代在線的四個(gè)關(guān)鍵特性:高性能、高可用性、高可運(yùn)維性和高靈活性。由于互聯(lián)網(wǎng)行業(yè)要求每個(gè)月出一個(gè)新版本。所以必須提供高靈活性的業(yè)務(wù)支持。作為硬件層面來說,高可運(yùn)維性則需要物理架構(gòu)詳細(xì)到機(jī)架、并具備故障分析智能化、運(yùn)維操作組件化和負(fù)載自動(dòng)轉(zhuǎn)移等特性的支持。而要保證系統(tǒng)的高性能,自寫存儲(chǔ)層是至關(guān)重要的因素。莊泗華還表示在線量每提升一個(gè)量級(jí),技術(shù)難度也會(huì)提升一個(gè)量級(jí)。
最后莊泗華認(rèn)為互聯(lián)網(wǎng)行業(yè)有自己的技術(shù)規(guī)律,需要做自己的技術(shù)積累。而騰訊IM服務(wù)的未來戰(zhàn)略就是全球化分布、高效率的研發(fā)以及監(jiān)控告警的智能化。
專家與與會(huì)者交流環(huán)節(jié)
現(xiàn)場(chǎng)聽眾向?qū)<姨釂?/p>
莊泗華回答現(xiàn)場(chǎng)聽眾的問題
活動(dòng)現(xiàn)場(chǎng) 呼叫中心
[注]CSDN稍后會(huì)把本次活動(dòng)的視頻和PPT公布,敬請(qǐng)期待。
講師介紹
莊泗華 騰訊通平臺(tái)部高級(jí)技術(shù)總監(jiān)、騰訊T4級(jí)技術(shù)專家、騰訊軟件開發(fā)通道分會(huì)會(huì)長(zhǎng)。中科院計(jì)算技術(shù)研究所碩士 2004年畢業(yè)加入騰訊,是騰訊培養(yǎng)出的第一位T4專家級(jí)畢業(yè)生。一直致力于QQ IM后臺(tái)海量服務(wù)系統(tǒng)的研發(fā)和運(yùn)營(yíng)工作。負(fù)責(zé)過QQ群聊系統(tǒng)、QQ接入與基礎(chǔ)通信服務(wù)系統(tǒng)等后臺(tái)系統(tǒng)的研發(fā)和運(yùn)營(yíng),見證了QQ在線從800萬到1.4億的整個(gè)過程
關(guān)于TUP:
TUP是由全球最大的中文IT技術(shù)社區(qū)CSDN和最具影響力的IT技術(shù)期刊《程序員》發(fā)起組織的線下活動(dòng),以業(yè)界知名專家講座和論壇形式在北京、上海等主要城市定期舉行,主要針對(duì)IT產(chǎn)品研發(fā)相關(guān)的技術(shù)、設(shè)計(jì)、運(yùn)營(yíng)、運(yùn)維、管理專業(yè)人士,目的是與技術(shù)界人士共同關(guān)注IT產(chǎn)品研發(fā)背后的成敗經(jīng)驗(yàn),關(guān)注技術(shù)、用戶體驗(yàn)和產(chǎn)品設(shè)計(jì),信仰開放、創(chuàng)新、交流和社區(qū)。
更多行業(yè)資訊:下一個(gè)開發(fā)平臺(tái)會(huì)是什么?
-
杭州網(wǎng)站設(shè)計(jì)公司:品牌網(wǎng)站開發(fā)助力企業(yè)成長(zhǎng)
日期:2024-12-20瀏覽次數(shù):416次
-
杭州網(wǎng)站建設(shè)公司:商城網(wǎng)站建設(shè)的六大關(guān)鍵步驟
日期:2024-12-18瀏覽次數(shù):491次
-
杭州網(wǎng)站制作:醫(yī)院網(wǎng)站設(shè)計(jì)與域名備案的復(fù)雜性探討
日期:2024-12-18瀏覽次數(shù):500次
-
杭州網(wǎng)站制作公司:打造安全可靠的醫(yī)院網(wǎng)站
日期:2024-12-11瀏覽次數(shù):726次
-
杭州網(wǎng)站設(shè)計(jì)公司:數(shù)據(jù)庫(kù)在高端網(wǎng)站制作中的關(guān)鍵作用
日期:2024-12-11瀏覽次數(shù):694次
相關(guān)新聞
整合同類新聞,相關(guān)新聞一手掌握
-
宣城網(wǎng)站模板搭建
日期:2023-02-08瀏覽次數(shù):1565次
-
宣城app開發(fā),從開發(fā)到上線
日期:2021-02-06瀏覽次數(shù):2145次
-
智能數(shù)據(jù)宣城app開發(fā)更高效
日期:2021-02-06瀏覽次數(shù):2018次
-
宣城網(wǎng)頁設(shè)計(jì):讓營(yíng)銷氣息填滿您的網(wǎng)站,網(wǎng)站設(shè)計(jì)公司的七大秘籍
日期:2020-09-11瀏覽次數(shù):2011次
-
宣城網(wǎng)站優(yōu)化:為什么網(wǎng)站設(shè)計(jì)公司的報(bào)價(jià)會(huì)不同呢?
日期:2020-09-11瀏覽次數(shù):2033次
最新新聞
與互聯(lián)網(wǎng)同行,實(shí)時(shí)掌握網(wǎng)建行業(yè)最新動(dòng)態(tài)
-
APP開發(fā)和運(yùn)營(yíng)很困難?未必!智能數(shù)據(jù)使之更高效
日期:2019-12-26瀏覽次數(shù):4767次
-
蚌埠網(wǎng)頁設(shè)計(jì),主要注重這幾點(diǎn)
日期:2020-09-15瀏覽次數(shù):2172次
-
杭州APP開發(fā):企業(yè)內(nèi)部培訓(xùn)學(xué)習(xí)APP的設(shè)計(jì)開發(fā)
日期:2021-01-07瀏覽次數(shù):4378次
-
杭州開發(fā)app流程是怎樣的?
日期:2021-08-05瀏覽次數(shù):3908次
-
如何做到杭州網(wǎng)站優(yōu)化需要的”一絲不茍“?
日期:2023-03-13瀏覽次數(shù):2794次
隨機(jī)新聞
新聞新動(dòng)態(tài),您需要的新聞管家
洞悉市場(chǎng)趨勢(shì)演變讓傳播回歸社會(huì)
免費(fèi)獲取網(wǎng)站建設(shè)與網(wǎng)絡(luò)推廣方案報(bào)價(jià)
-
關(guān)于我們
杭州帷拓科技有限公司,是一家新型的全案網(wǎng)絡(luò)開發(fā)公司,作為以互聯(lián)網(wǎng)高端網(wǎng)站建設(shè)、APP開發(fā)、小程序開發(fā)為核心的專業(yè)網(wǎng)絡(luò)技術(shù)服務(wù)供應(yīng)商,帷拓科技致力于全面分析市場(chǎng)環(huán)境、衡量與預(yù)測(cè)市場(chǎng)需求、整合區(qū)別于行業(yè)競(jìng)爭(zhēng)對(duì)手的絕對(duì)優(yōu)勢(shì),結(jié)合品牌理念深度挖掘項(xiàng)目?jī)?yōu)勢(shì)和產(chǎn)品價(jià)值,提升客戶品牌認(rèn)知、認(rèn)可度。
-
我們的客戶
帷拓科技?xì)v經(jīng)十年沉淀,與國(guó)內(nèi)外上千家客戶達(dá)成合作關(guān)系,其中穩(wěn)定合作的公司有:浙江華為、浙江移動(dòng)、浙江5G產(chǎn)業(yè)聯(lián)盟、浙江省社科院、綠城足球俱樂部、娃哈哈雙語學(xué)校、健康中國(guó)杭州峰會(huì)、科雷機(jī)電等,帷拓科技始終堅(jiān)持“帷有專業(yè),才能拓展無限”的服務(wù)理念,堅(jiān)持“認(rèn)真堅(jiān)持細(xì)節(jié)”的優(yōu)質(zhì)服務(wù)理念,不斷完善自身,成就企業(yè),最終實(shí)現(xiàn)共贏。
-
我們的業(yè)務(wù)
帷拓科技主營(yíng)業(yè)務(wù)范圍包含互聯(lián)網(wǎng)高端網(wǎng)站建設(shè)、APP開發(fā)、小程序開發(fā)、商城網(wǎng)站建設(shè)、公眾號(hào)運(yùn)營(yíng)以及數(shù)字營(yíng)銷等,涵蓋了服務(wù)、房產(chǎn)、數(shù)碼、服裝、物流貿(mào)易等行業(yè),根據(jù)品牌現(xiàn)狀,為每個(gè)客戶量身定制項(xiàng)目整體服務(wù)方案,以敏銳的市場(chǎng)洞察力、創(chuàng)新的市場(chǎng)策劃能力,全面把握市場(chǎng)變化,為客戶實(shí)現(xiàn)從企業(yè)到消費(fèi)者的價(jià)值轉(zhuǎn)換。