Elasticsearch創(chuàng)始人發(fā)信感謝騰訊工程師
9月9日,Elasticsearch 的創(chuàng)始人兼首席執(zhí)行官Shay Banon 向騰訊云發(fā)出了一封郵件,專程對騰訊團(tuán)隊(duì)為Elasticsearch開源社區(qū)做出的貢獻(xiàn)表示了感謝。
Shay Banon 在發(fā)給騰訊副總裁、騰訊云總裁邱躍鵬的感謝信中表示:“我們最近對Elasticsearch進(jìn)行了重大而巧妙的改進(jìn),這是由騰訊的一位開發(fā)者提出的。這種改進(jìn)使Elasticsearch的某些類型的寫速度提高了約20%,我們非常期待后續(xù)與騰訊云繼續(xù)保持這種良好的合作關(guān)系。”
據(jù)了解,騰訊工程師通過提交代碼,成功優(yōu)化了Elasticsearch高并發(fā)寫入性能,實(shí)現(xiàn)將1000萬數(shù)據(jù)量的寫入時(shí)長從原來的18分鐘縮減至15分鐘,速率提升20%,并在Elasticsearch開源社區(qū)分享了項(xiàng)目方案。
而這次源碼優(yōu)化的契機(jī),源自騰訊內(nèi)部一站式智能化的大數(shù)據(jù)服務(wù)平臺全民BI的業(yè)務(wù)需求。據(jù)騰訊方面介紹,全民BI的統(tǒng)計(jì)功能在底層使用了Elasticsearch的開源代碼。統(tǒng)計(jì)功能需要每天全量導(dǎo)入新的數(shù)據(jù)。數(shù)十億級的數(shù)據(jù)量,超過500個(gè)標(biāo)簽,需要盡可能的快速的導(dǎo)入到ES系統(tǒng)中。在此背景下,騰訊全民BI團(tuán)隊(duì)開始著手優(yōu)化Elasticsearch高并發(fā)場景下的寫入性能。
騰訊和Elastic的合作始于今年5月,雙方戰(zhàn)略合作協(xié)議,同意在產(chǎn)品、技術(shù)、生態(tài)三個(gè)維度展開合作。雙方聯(lián)合推出具備高級商業(yè)特性的騰訊云Elasticsearch Service ,該版本上線了集群權(quán)限管理、SQL、機(jī)器學(xué)習(xí)、圖查詢等高級功能。
近幾年騰訊在開源和社區(qū)領(lǐng)域前進(jìn)的步伐加快,目前騰訊已經(jīng)獲得 OpenStack 社區(qū)、Linux 基金會、LFAI 基金會、MariaDB 基金會、Apache 基金會等多個(gè)白金會員或白金贊助商身份。截至2019年8月,騰訊已在Github上發(fā)布82個(gè)開源項(xiàng)目,包含微信、騰訊云、騰訊游戲、騰訊AI、騰訊安全等相關(guān)領(lǐng)域。