騰訊萬億級大數(shù)據(jù)組件TubeMQ正式開源 擬捐贈給Apache基金會
9月17日,騰訊開源管理委員會委員、騰訊開源聯(lián)盟主席、Apache 軟件基金會Member堵俊平在出席國際開源頂會ApacheCon 2019時宣布騰訊萬億級分布式消息中間件TubeMQ正式對外開源,并計(jì)劃捐贈給Apache基金會。
這是騰訊繼加入Apache基金會白金會員后,與Apache基金會又一次攜手。今年正值 Apache 軟件基金會(Apache Software Foundation,ASF)成立 20 周年。據(jù)了解,Apache基金會目前已為超過350個開源項(xiàng)目提供支持,尤其在大數(shù)據(jù)與云計(jì)算領(lǐng)域,擁有眾多明星開源項(xiàng)目。
此次騰訊在ApacheCon上最新發(fā)布的自研開源項(xiàng)目TubeMQ的原型是騰訊數(shù)據(jù)平臺部在2013年自研的分布式消息中間件系統(tǒng)(MQ),專注于大數(shù)據(jù)場景下海量數(shù)據(jù)的高性能存儲和傳輸,長期服務(wù)微信支付、騰訊視頻、廣點(diǎn)通等產(chǎn)品。
堵俊平介紹,為支持海量業(yè)務(wù),騰訊組建了包含存儲層、數(shù)據(jù)管理層及分析層3層結(jié)構(gòu)的數(shù)據(jù)湖協(xié)同方案,向下管理多種數(shù)據(jù)引擎,向上支撐多種數(shù)據(jù)應(yīng)用需求。TubeMQ就是來源于騰訊數(shù)據(jù)湖存儲層的消息中間件系統(tǒng),支撐著海量數(shù)據(jù)的流入和運(yùn)轉(zhuǎn)。經(jīng)過近7年、萬億規(guī)模的海量數(shù)據(jù)沉淀,TubeMQ目前日均接入量超過25萬億條消息。較之于其他的開源MQ組件,TubeMQ長期應(yīng)用于真實(shí)生產(chǎn)環(huán)境中,在穩(wěn)定性、性能和成本方面都有著核心優(yōu)勢。
此外,堵俊平表示,作為Apache基金會在中國的首家白金贊助商,騰訊計(jì)劃將TubeMQ捐贈給Apache基金會,目前已經(jīng)啟動了相關(guān)的孵化流程。期望以TubeMQ為重要的里程碑,在大數(shù)據(jù)領(lǐng)域持續(xù)貢獻(xiàn)優(yōu)秀的項(xiàng)目來反哺開源社區(qū)。
截至9月,騰訊自主開源項(xiàng)目已達(dá)84個,Star數(shù)超過24萬,重點(diǎn)關(guān)注領(lǐng)域包括 IaaS、容器與云原生、數(shù)據(jù)庫、大數(shù)據(jù)與 AI、中間件、IoT/邊緣計(jì)算、小程序生態(tài)等。
另外,目前騰訊已經(jīng)加入Apache基金會、Linux基金會、LFAI 基金會、OpenStack基金會、MariaDB 基金會多個頂尖開源基金會,同時騰訊眾多業(yè)務(wù)團(tuán)隊(duì)和技術(shù)人員已廣泛參與數(shù)十個社區(qū)和項(xiàng)目的建設(shè)。