1億在線背后的技術(shù)挑戰(zhàn)是什么?
分享 2011.11.01 瀏覽次數(shù):6982次
智慧騰訊 夢想互聯(lián)——1億在線背后的技術(shù)挑戰(zhàn)
標簽:杭州網(wǎng)站建設 杭州網(wǎng)站制作 杭州網(wǎng)站設計
由CSDN、《程序員》、騰訊共同舉辦的TUP第十六期:智慧騰訊 夢想互聯(lián)——1億在線背后的技術(shù)挑戰(zhàn)活動于10月31日在北京航空航天大學學術(shù)交流廳舉行。同時本次活動邀請到了騰訊通平臺部高級技術(shù)總監(jiān)、騰訊T4級技術(shù)專家、騰訊軟件開發(fā)通道分會會長莊泗華先生。
眾所周知海量互聯(lián)網(wǎng)服務能力是世界公認的技術(shù)難題。經(jīng)過十多年的發(fā)展,騰訊在海量互聯(lián)網(wǎng)服務方面已有不少技術(shù)積累。莊泗華先生在本次演講中以QQ IM后臺服務為例,重現(xiàn)了QQ在線用戶從百萬級到億級的整個過程中遇到的技術(shù)挑戰(zhàn),并與與會者分享了眾多在海量互聯(lián)網(wǎng)后臺服務研發(fā)運營方面不為人知的秘密。
擔任本次活動主持人的是CSDN&《程序員》雜志總編劉江。他主要介紹了CSDN舉辦TUP活動的宗旨。
CSDN&《程序員》雜志總編劉江致開場詞
騰訊通平臺部高級技術(shù)總監(jiān)莊泗華演講
莊泗華表示QQ現(xiàn)在面臨7億活躍賬戶,每日1.4億用戶同時在線。QQ過萬臺IM服務器和百億級的關(guān)系鏈對數(shù)每天接受千億級的服務請求考驗。在這些苛刻的數(shù)字面前騰訊要保證99.99%的可用性。當然團隊在QQ在線從10萬到1.4億的整個過程也經(jīng)歷了很多破折,同時從十萬級、百萬級、千萬級最終到億級在線騰訊也吸取了很多教訓。這也說明了騰訊對海量服務的理解是長期積累的結(jié)果。
第一代架構(gòu)難以支持百萬級在線
莊泗華在演講中提到了騰訊的第一代架構(gòu)。他表示當達到一百萬在線時,老架構(gòu)會有各方面的瓶頸出現(xiàn)。以接入服務器的內(nèi)存為例,單個在線用戶的存儲量約為2KB,索引和在線狀態(tài)50字節(jié)。好友表400個好友 * 5字節(jié)/好友等于2000字節(jié)。大致來說,2G內(nèi)存只能支持一百萬在線用戶。與此同時,還有CPU/網(wǎng)卡包量和流量/交換機流量等瓶頸。其他服務器也面臨類似情況。單臺服務器支撐不下所有在線用戶/注冊用戶。第一代架構(gòu)已無以為繼。
莊泗華認為十萬級到百萬級在線的關(guān)鍵技術(shù)是高性能和實現(xiàn)7乘24小時連續(xù)服務。實現(xiàn)高性能的關(guān)鍵因素包括絕不使用企業(yè)級解決方案、邏輯層多進程、萬有一失的無鎖設計、用戶態(tài)IPC、MySQL分庫分表以及好友表自寫文件存儲。而通過大系統(tǒng)小做、平滑重構(gòu)、核心數(shù)據(jù)放入共享內(nèi)存、接入層與邏輯層分離以及命令分發(fā)動態(tài)配置化可保證QQ后臺實現(xiàn)7乘24小時連續(xù)服務。
第二代架構(gòu)難以支持千萬級在線
同樣第二代架構(gòu)也存在一些問題。包括同步流量太大、狀態(tài)同步服務器遇到單機瓶頸、所有在線用戶的在線狀態(tài)信息量太大、單臺接入服務器存不下等問題。并且當在線數(shù)進一步增加,單臺狀態(tài)同步服務器不能滿足需求,單臺狀態(tài)同步服務器支撐不了所有在線用戶,單臺接入服務器也支撐不了所有在線用戶的在線狀態(tài)信息。
通過深入分析,騰訊發(fā)現(xiàn)后臺機器越來越多,單機死機/故障就會經(jīng)常出現(xiàn)。同時每周新代碼的發(fā)布也導致BUG不斷出現(xiàn),嚴重影響服務。監(jiān)控機制的相對原始導致報警設置不全。最后當運維操作通過vim或者mysql進行時也非常容易失誤。
莊泗華表示想要解決這些問題就需要對現(xiàn)有架構(gòu)進行改造。這包括對外提供高可用性的服務、對內(nèi)提供高可運維性的系統(tǒng)。同時灰度發(fā)布、運營監(jiān)控、容災以及運維自動化/半自動化也是解決千萬級在線所面臨問題的關(guān)鍵技術(shù)。
億級在線時代的到來
IM億級在線存儲系統(tǒng)架構(gòu)
隨著億時代在線到來,騰訊也面臨了新的問題。通過對原有系統(tǒng)持續(xù)完善已經(jīng)很難支撐億級在線。
莊泗華表示億時代在線的四個關(guān)鍵特性:高性能、高可用性、高可運維性和高靈活性。由于互聯(lián)網(wǎng)行業(yè)要求每個月出一個新版本。所以必須提供高靈活性的業(yè)務支持。作為硬件層面來說,高可運維性則需要物理架構(gòu)詳細到機架、并具備故障分析智能化、運維操作組件化和負載自動轉(zhuǎn)移等特性的支持。而要保證系統(tǒng)的高性能,自寫存儲層是至關(guān)重要的因素。莊泗華還表示在線量每提升一個量級,技術(shù)難度也會提升一個量級。
最后莊泗華認為互聯(lián)網(wǎng)行業(yè)有自己的技術(shù)規(guī)律,需要做自己的技術(shù)積累。而騰訊IM服務的未來戰(zhàn)略就是全球化分布、高效率的研發(fā)以及監(jiān)控告警的智能化。
專家與與會者交流環(huán)節(jié)
現(xiàn)場聽眾向?qū)<姨釂?/p>
莊泗華回答現(xiàn)場聽眾的問題
活動現(xiàn)場 呼叫中心
[注]CSDN稍后會把本次活動的視頻和PPT公布,敬請期待。
講師介紹
莊泗華 騰訊通平臺部高級技術(shù)總監(jiān)、騰訊T4級技術(shù)專家、騰訊軟件開發(fā)通道分會會長。中科院計算技術(shù)研究所碩士 2004年畢業(yè)加入騰訊,是騰訊培養(yǎng)出的第一位T4專家級畢業(yè)生。一直致力于QQ IM后臺海量服務系統(tǒng)的研發(fā)和運營工作。負責過QQ群聊系統(tǒng)、QQ接入與基礎通信服務系統(tǒng)等后臺系統(tǒng)的研發(fā)和運營,見證了QQ在線從800萬到1.4億的整個過程
關(guān)于TUP:
TUP是由全球最大的中文IT技術(shù)社區(qū)CSDN和最具影響力的IT技術(shù)期刊《程序員》發(fā)起組織的線下活動,以業(yè)界知名專家講座和論壇形式在北京、上海等主要城市定期舉行,主要針對IT產(chǎn)品研發(fā)相關(guān)的技術(shù)、設計、運營、運維、管理專業(yè)人士,目的是與技術(shù)界人士共同關(guān)注IT產(chǎn)品研發(fā)背后的成敗經(jīng)驗,關(guān)注技術(shù)、用戶體驗和產(chǎn)品設計,信仰開放、創(chuàng)新、交流和社區(qū)。
更多行業(yè)資訊:下一個開發(fā)平臺會是什么?
-
杭州網(wǎng)站設計公司:品牌網(wǎng)站開發(fā)助力企業(yè)成長
日期:2024-12-20瀏覽次數(shù):355次
-
杭州網(wǎng)站建設公司:商城網(wǎng)站建設的六大關(guān)鍵步驟
日期:2024-12-18瀏覽次數(shù):448次
-
杭州網(wǎng)站制作:醫(yī)院網(wǎng)站設計與域名備案的復雜性探討
日期:2024-12-18瀏覽次數(shù):462次
-
杭州網(wǎng)站制作公司:打造安全可靠的醫(yī)院網(wǎng)站
日期:2024-12-11瀏覽次數(shù):704次
-
杭州網(wǎng)站設計公司:數(shù)據(jù)庫在高端網(wǎng)站制作中的關(guān)鍵作用
日期:2024-12-11瀏覽次數(shù):674次
相關(guān)新聞
整合同類新聞,相關(guān)新聞一手掌握
-
吉安定制app:0代碼如何迅速制作外賣app
日期:2020-11-04瀏覽次數(shù):2005次
-
吉安app開發(fā),其實并不復雜
日期:2020-11-03瀏覽次數(shù):1897次
-
吉安做網(wǎng)站的七大特點匯總
日期:2020-09-24瀏覽次數(shù):1891次
-
吉安網(wǎng)站制作中的100M是什么意思?
日期:2020-09-24瀏覽次數(shù):1919次
最新新聞
與互聯(lián)網(wǎng)同行,實時掌握網(wǎng)建行業(yè)最新動態(tài)
-
杭州帷拓詳解技術(shù)開發(fā)app外包定制流程
日期:2020-04-20瀏覽次數(shù):4849次
-
為什么杭州小程序開發(fā)選擇定制比較好?
日期:2021-02-18瀏覽次數(shù):3908次
-
2021做好杭州網(wǎng)站優(yōu)化的要素技巧
日期:2021-04-20瀏覽次數(shù):4076次
-
杭州設計公司的網(wǎng)頁,最好要定制
日期:2021-05-14瀏覽次數(shù):3760次
-
杭州網(wǎng)站制作公司:打造高端企業(yè)官網(wǎng)的六大特點
日期:2024-08-09瀏覽次數(shù):1701次
隨機新聞
新聞新動態(tài),您需要的新聞管家
洞悉市場趨勢演變讓傳播回歸社會
免費獲取網(wǎng)站建設與網(wǎng)絡推廣方案報價
-
關(guān)于我們
杭州帷拓科技有限公司,是一家新型的全案網(wǎng)絡開發(fā)公司,作為以互聯(lián)網(wǎng)高端網(wǎng)站建設、APP開發(fā)、小程序開發(fā)為核心的專業(yè)網(wǎng)絡技術(shù)服務供應商,帷拓科技致力于全面分析市場環(huán)境、衡量與預測市場需求、整合區(qū)別于行業(yè)競爭對手的絕對優(yōu)勢,結(jié)合品牌理念深度挖掘項目優(yōu)勢和產(chǎn)品價值,提升客戶品牌認知、認可度。
-
我們的客戶
帷拓科技歷經(jīng)十年沉淀,與國內(nèi)外上千家客戶達成合作關(guān)系,其中穩(wěn)定合作的公司有:浙江華為、浙江移動、浙江5G產(chǎn)業(yè)聯(lián)盟、浙江省社科院、綠城足球俱樂部、娃哈哈雙語學校、健康中國杭州峰會、科雷機電等,帷拓科技始終堅持“帷有專業(yè),才能拓展無限”的服務理念,堅持“認真堅持細節(jié)”的優(yōu)質(zhì)服務理念,不斷完善自身,成就企業(yè),最終實現(xiàn)共贏。
-
我們的業(yè)務
帷拓科技主營業(yè)務范圍包含互聯(lián)網(wǎng)高端網(wǎng)站建設、APP開發(fā)、小程序開發(fā)、商城網(wǎng)站建設、公眾號運營以及數(shù)字營銷等,涵蓋了服務、房產(chǎn)、數(shù)碼、服裝、物流貿(mào)易等行業(yè),根據(jù)品牌現(xiàn)狀,為每個客戶量身定制項目整體服務方案,以敏銳的市場洞察力、創(chuàng)新的市場策劃能力,全面把握市場變化,為客戶實現(xiàn)從企業(yè)到消費者的價值轉(zhuǎn)換。