1億在線背后的技術(shù)挑戰(zhàn)是什么?
分享 2011.11.01 瀏覽次數(shù):6986次
智慧騰訊 夢想互聯(lián)——1億在線背后的技術(shù)挑戰(zhàn)
標簽:杭州網(wǎng)站建設(shè) 杭州網(wǎng)站制作 杭州網(wǎng)站設(shè)計
由CSDN、《程序員》、騰訊共同舉辦的TUP第十六期:智慧騰訊 夢想互聯(lián)——1億在線背后的技術(shù)挑戰(zhàn)活動于10月31日在北京航空航天大學(xué)學(xué)術(shù)交流廳舉行。同時本次活動邀請到了騰訊通平臺部高級技術(shù)總監(jiān)、騰訊T4級技術(shù)專家、騰訊軟件開發(fā)通道分會會長莊泗華先生。
眾所周知海量互聯(lián)網(wǎng)服務(wù)能力是世界公認的技術(shù)難題。經(jīng)過十多年的發(fā)展,騰訊在海量互聯(lián)網(wǎng)服務(wù)方面已有不少技術(shù)積累。莊泗華先生在本次演講中以QQ IM后臺服務(wù)為例,重現(xiàn)了QQ在線用戶從百萬級到億級的整個過程中遇到的技術(shù)挑戰(zhàn),并與與會者分享了眾多在海量互聯(lián)網(wǎng)后臺服務(wù)研發(fā)運營方面不為人知的秘密。
擔任本次活動主持人的是CSDN&《程序員》雜志總編劉江。他主要介紹了CSDN舉辦TUP活動的宗旨。
CSDN&《程序員》雜志總編劉江致開場詞
騰訊通平臺部高級技術(shù)總監(jiān)莊泗華演講
莊泗華表示QQ現(xiàn)在面臨7億活躍賬戶,每日1.4億用戶同時在線。QQ過萬臺IM服務(wù)器和百億級的關(guān)系鏈對數(shù)每天接受千億級的服務(wù)請求考驗。在這些苛刻的數(shù)字面前騰訊要保證99.99%的可用性。當然團隊在QQ在線從10萬到1.4億的整個過程也經(jīng)歷了很多破折,同時從十萬級、百萬級、千萬級最終到億級在線騰訊也吸取了很多教訓(xùn)。這也說明了騰訊對海量服務(wù)的理解是長期積累的結(jié)果。
第一代架構(gòu)難以支持百萬級在線
莊泗華在演講中提到了騰訊的第一代架構(gòu)。他表示當達到一百萬在線時,老架構(gòu)會有各方面的瓶頸出現(xiàn)。以接入服務(wù)器的內(nèi)存為例,單個在線用戶的存儲量約為2KB,索引和在線狀態(tài)50字節(jié)。好友表400個好友 * 5字節(jié)/好友等于2000字節(jié)。大致來說,2G內(nèi)存只能支持一百萬在線用戶。與此同時,還有CPU/網(wǎng)卡包量和流量/交換機流量等瓶頸。其他服務(wù)器也面臨類似情況。單臺服務(wù)器支撐不下所有在線用戶/注冊用戶。第一代架構(gòu)已無以為繼。
莊泗華認為十萬級到百萬級在線的關(guān)鍵技術(shù)是高性能和實現(xiàn)7乘24小時連續(xù)服務(wù)。實現(xiàn)高性能的關(guān)鍵因素包括絕不使用企業(yè)級解決方案、邏輯層多進程、萬有一失的無鎖設(shè)計、用戶態(tài)IPC、MySQL分庫分表以及好友表自寫文件存儲。而通過大系統(tǒng)小做、平滑重構(gòu)、核心數(shù)據(jù)放入共享內(nèi)存、接入層與邏輯層分離以及命令分發(fā)動態(tài)配置化可保證QQ后臺實現(xiàn)7乘24小時連續(xù)服務(wù)。
第二代架構(gòu)難以支持千萬級在線
同樣第二代架構(gòu)也存在一些問題。包括同步流量太大、狀態(tài)同步服務(wù)器遇到單機瓶頸、所有在線用戶的在線狀態(tài)信息量太大、單臺接入服務(wù)器存不下等問題。并且當在線數(shù)進一步增加,單臺狀態(tài)同步服務(wù)器不能滿足需求,單臺狀態(tài)同步服務(wù)器支撐不了所有在線用戶,單臺接入服務(wù)器也支撐不了所有在線用戶的在線狀態(tài)信息。
通過深入分析,騰訊發(fā)現(xiàn)后臺機器越來越多,單機死機/故障就會經(jīng)常出現(xiàn)。同時每周新代碼的發(fā)布也導(dǎo)致BUG不斷出現(xiàn),嚴重影響服務(wù)。監(jiān)控機制的相對原始導(dǎo)致報警設(shè)置不全。最后當運維操作通過vim或者mysql進行時也非常容易失誤。
莊泗華表示想要解決這些問題就需要對現(xiàn)有架構(gòu)進行改造。這包括對外提供高可用性的服務(wù)、對內(nèi)提供高可運維性的系統(tǒng)。同時灰度發(fā)布、運營監(jiān)控、容災(zāi)以及運維自動化/半自動化也是解決千萬級在線所面臨問題的關(guān)鍵技術(shù)。
億級在線時代的到來
IM億級在線存儲系統(tǒng)架構(gòu)
隨著億時代在線到來,騰訊也面臨了新的問題。通過對原有系統(tǒng)持續(xù)完善已經(jīng)很難支撐億級在線。
莊泗華表示億時代在線的四個關(guān)鍵特性:高性能、高可用性、高可運維性和高靈活性。由于互聯(lián)網(wǎng)行業(yè)要求每個月出一個新版本。所以必須提供高靈活性的業(yè)務(wù)支持。作為硬件層面來說,高可運維性則需要物理架構(gòu)詳細到機架、并具備故障分析智能化、運維操作組件化和負載自動轉(zhuǎn)移等特性的支持。而要保證系統(tǒng)的高性能,自寫存儲層是至關(guān)重要的因素。莊泗華還表示在線量每提升一個量級,技術(shù)難度也會提升一個量級。
最后莊泗華認為互聯(lián)網(wǎng)行業(yè)有自己的技術(shù)規(guī)律,需要做自己的技術(shù)積累。而騰訊IM服務(wù)的未來戰(zhàn)略就是全球化分布、高效率的研發(fā)以及監(jiān)控告警的智能化。
專家與與會者交流環(huán)節(jié)
現(xiàn)場聽眾向?qū)<姨釂?/p>
莊泗華回答現(xiàn)場聽眾的問題
活動現(xiàn)場 呼叫中心
[注]CSDN稍后會把本次活動的視頻和PPT公布,敬請期待。
講師介紹
莊泗華 騰訊通平臺部高級技術(shù)總監(jiān)、騰訊T4級技術(shù)專家、騰訊軟件開發(fā)通道分會會長。中科院計算技術(shù)研究所碩士 2004年畢業(yè)加入騰訊,是騰訊培養(yǎng)出的第一位T4專家級畢業(yè)生。一直致力于QQ IM后臺海量服務(wù)系統(tǒng)的研發(fā)和運營工作。負責過QQ群聊系統(tǒng)、QQ接入與基礎(chǔ)通信服務(wù)系統(tǒng)等后臺系統(tǒng)的研發(fā)和運營,見證了QQ在線從800萬到1.4億的整個過程
關(guān)于TUP:
TUP是由全球最大的中文IT技術(shù)社區(qū)CSDN和最具影響力的IT技術(shù)期刊《程序員》發(fā)起組織的線下活動,以業(yè)界知名專家講座和論壇形式在北京、上海等主要城市定期舉行,主要針對IT產(chǎn)品研發(fā)相關(guān)的技術(shù)、設(shè)計、運營、運維、管理專業(yè)人士,目的是與技術(shù)界人士共同關(guān)注IT產(chǎn)品研發(fā)背后的成敗經(jīng)驗,關(guān)注技術(shù)、用戶體驗和產(chǎn)品設(shè)計,信仰開放、創(chuàng)新、交流和社區(qū)。
更多行業(yè)資訊:下一個開發(fā)平臺會是什么?
-
杭州網(wǎng)站設(shè)計公司:品牌網(wǎng)站開發(fā)助力企業(yè)成長
日期:2024-12-20瀏覽次數(shù):356次
-
杭州網(wǎng)站建設(shè)公司:商城網(wǎng)站建設(shè)的六大關(guān)鍵步驟
日期:2024-12-18瀏覽次數(shù):451次
-
杭州網(wǎng)站制作:醫(yī)院網(wǎng)站設(shè)計與域名備案的復(fù)雜性探討
日期:2024-12-18瀏覽次數(shù):462次
-
杭州網(wǎng)站制作公司:打造安全可靠的醫(yī)院網(wǎng)站
日期:2024-12-11瀏覽次數(shù):704次
-
杭州網(wǎng)站設(shè)計公司:數(shù)據(jù)庫在高端網(wǎng)站制作中的關(guān)鍵作用
日期:2024-12-11瀏覽次數(shù):674次
相關(guān)新聞
整合同類新聞,相關(guān)新聞一手掌握
-
南平app開發(fā)為什么一定要定制?
日期:2021-02-06瀏覽次數(shù):2031次
-
南平app開發(fā)人員需要什么資質(zhì)
日期:2021-02-06瀏覽次數(shù):2002次
-
南平網(wǎng)頁設(shè)計,怎樣設(shè)計有靈魂的網(wǎng)站?
日期:2020-10-21瀏覽次數(shù):2011次
-
南平做網(wǎng)站:個人網(wǎng)站的制作步驟
日期:2020-10-21瀏覽次數(shù):1977次
-
南平網(wǎng)站制作的未來前景
日期:2020-09-04瀏覽次數(shù):2093次
最新新聞
與互聯(lián)網(wǎng)同行,實時掌握網(wǎng)建行業(yè)最新動態(tài)
-
谷歌算法專家指責歐盟不懂搜索結(jié)果排序
日期:2010-03-02瀏覽次數(shù):9702次
-
谷歌推音樂版權(quán)預(yù)覽功能緩和內(nèi)容提供商關(guān)系
日期:2010-12-06瀏覽次數(shù):6319次
-
對傳統(tǒng)商家而言,花成本去開發(fā)小程序是否值得?
日期:2020-05-21瀏覽次數(shù):2306次
-
杭州APP的常用開發(fā)語言
日期:2020-06-04瀏覽次數(shù):4593次
-
這七個元素應(yīng)有助于推動您的杭州網(wǎng)站優(yōu)化分析
日期:2021-09-13瀏覽次數(shù):3554次
隨機新聞
新聞新動態(tài),您需要的新聞管家
洞悉市場趨勢演變讓傳播回歸社會
免費獲取網(wǎng)站建設(shè)與網(wǎng)絡(luò)推廣方案報價
-
關(guān)于我們
杭州帷拓科技有限公司,是一家新型的全案網(wǎng)絡(luò)開發(fā)公司,作為以互聯(lián)網(wǎng)高端網(wǎng)站建設(shè)、APP開發(fā)、小程序開發(fā)為核心的專業(yè)網(wǎng)絡(luò)技術(shù)服務(wù)供應(yīng)商,帷拓科技致力于全面分析市場環(huán)境、衡量與預(yù)測市場需求、整合區(qū)別于行業(yè)競爭對手的絕對優(yōu)勢,結(jié)合品牌理念深度挖掘項目優(yōu)勢和產(chǎn)品價值,提升客戶品牌認知、認可度。
-
我們的客戶
帷拓科技歷經(jīng)十年沉淀,與國內(nèi)外上千家客戶達成合作關(guān)系,其中穩(wěn)定合作的公司有:浙江華為、浙江移動、浙江5G產(chǎn)業(yè)聯(lián)盟、浙江省社科院、綠城足球俱樂部、娃哈哈雙語學(xué)校、健康中國杭州峰會、科雷機電等,帷拓科技始終堅持“帷有專業(yè),才能拓展無限”的服務(wù)理念,堅持“認真堅持細節(jié)”的優(yōu)質(zhì)服務(wù)理念,不斷完善自身,成就企業(yè),最終實現(xiàn)共贏。
-
我們的業(yè)務(wù)
帷拓科技主營業(yè)務(wù)范圍包含互聯(lián)網(wǎng)高端網(wǎng)站建設(shè)、APP開發(fā)、小程序開發(fā)、商城網(wǎng)站建設(shè)、公眾號運營以及數(shù)字營銷等,涵蓋了服務(wù)、房產(chǎn)、數(shù)碼、服裝、物流貿(mào)易等行業(yè),根據(jù)品牌現(xiàn)狀,為每個客戶量身定制項目整體服務(wù)方案,以敏銳的市場洞察力、創(chuàng)新的市場策劃能力,全面把握市場變化,為客戶實現(xiàn)從企業(yè)到消費者的價值轉(zhuǎn)換。