www.久久久久|狼友网站av天堂|精品国产无码a片|一级av色欲av|91在线播放视频|亚洲无码主播在线|国产精品草久在线|明星AV网站在线|污污内射久久一区|婷婷综合视频网站

當(dāng)前位置:首頁(yè) > 公眾號(hào)精選 > 架構(gòu)師社區(qū)
[導(dǎo)讀]es在數(shù)據(jù)量很大的情況下(數(shù)十億級(jí)別)如何提高查詢效率啊?這個(gè)問(wèn)題是肯定要問(wèn)的,說(shuō)白了,就是看你有沒有實(shí)際干過(guò) es,因?yàn)樯??其?shí) es 性能并沒有你想象中那么好的。

來(lái)源:https://zhuanlan.zhihu.com/p/60458049

面試題

es 在數(shù)據(jù)量很大的情況下(數(shù)十億級(jí)別)如何提高查詢效率?。?/p>

面試官心理分析

這個(gè)問(wèn)題是肯定要問(wèn)的,說(shuō)白了,就是看你有沒有實(shí)際干過(guò) es,因?yàn)樯??其?shí) es 性能并沒有你想象中那么好的。很多時(shí)候數(shù)據(jù)量大了,特別是有幾億條數(shù)據(jù)的時(shí)候,可能你會(huì)懵逼的發(fā)現(xiàn),跑個(gè)搜索怎么一下 5~10s,坑爹了。第一次搜索的時(shí)候,是5~10s,后面反而就快了,可能就幾百毫秒。

你就很懵,每個(gè)用戶第一次訪問(wèn)都會(huì)比較慢,比較卡么?所以你要是沒玩兒過(guò) es,或者就是自己玩玩兒 demo,被問(wèn)到這個(gè)問(wèn)題容易懵逼,顯示出你對(duì) es 確實(shí)玩兒的不怎么樣?

面試題剖析

說(shuō)實(shí)話,es 性能優(yōu)化是沒有什么銀彈的,啥意思呢?就是不要期待著隨手調(diào)一個(gè)參數(shù),就可以萬(wàn)能的應(yīng)對(duì)所有的性能慢的場(chǎng)景。也許有的場(chǎng)景是你換個(gè)參數(shù),或者調(diào)整一下語(yǔ)法,就可以搞定,但是絕對(duì)不是所有場(chǎng)景都可以這樣。

性能優(yōu)化的殺手锏——filesystem cache

你往 es 里寫的數(shù)據(jù),實(shí)際上都寫到磁盤文件里去了,查詢的時(shí)候,操作系統(tǒng)會(huì)將磁盤文件里的數(shù)據(jù)自動(dòng)緩存到filesystem cache里面去。

ElasticSearch在數(shù)十億級(jí)別數(shù)據(jù)下,如何提高查詢效率?

es 的搜索引擎嚴(yán)重依賴于底層的filesystem cache,你如果給 filesystem cache 更多的內(nèi)存,盡量讓內(nèi)存可以容納所有的idx segment file 索引數(shù)據(jù)文件,那么你搜索的時(shí)候就基本都是走內(nèi)存的,性能會(huì)非常高。

性能差距究竟可以有多大?我們之前很多的測(cè)試和壓測(cè),如果走磁盤一般肯定上秒,搜索性能絕對(duì)是秒級(jí)別的,1秒、5秒、10秒。但如果是走 filesystem cache,是走純內(nèi)存的,那么一般來(lái)說(shuō)性能比走磁盤要高一個(gè)數(shù)量級(jí),基本上就是毫秒級(jí)的,從幾毫秒到幾百毫秒不等。

這里有個(gè)真實(shí)的案例。某個(gè)公司 es 節(jié)點(diǎn)有 3 臺(tái)機(jī)器,每臺(tái)機(jī)器看起來(lái)內(nèi)存很多,64G,總內(nèi)存就是64 * 3 = 192G。每臺(tái)機(jī)器給es jvm heap 是 32G,那么剩下來(lái)留給 filesystem cache 的就是每臺(tái)機(jī)器才 32G,總共集群里給filesystem cache 的就是32 * 3 = 96G內(nèi)存。而此時(shí),整個(gè)磁盤上索引數(shù)據(jù)文件,在 3 臺(tái)機(jī)器上一共占用了 1T 的磁盤容量,es 數(shù)據(jù)量是 1T,那么每臺(tái)機(jī)器的數(shù)據(jù)量是 300G。這樣性能好嗎?filesystem cache的內(nèi)存才 100G,十分之一的數(shù)據(jù)可以放內(nèi)存,其他的都在磁盤,然后你執(zhí)行搜索操作,大部分操作都是走磁盤,性能肯定差。

歸根結(jié)底,你要讓 es 性能要好,最佳的情況下,就是你的機(jī)器的內(nèi)存,至少可以容納你的總數(shù)據(jù)量的一半。

根據(jù)我們自己的生產(chǎn)環(huán)境實(shí)踐經(jīng)驗(yàn),最佳的情況下,是僅僅在 es 中就存少量的數(shù)據(jù),就是你要用來(lái)搜索的那些索引,如果內(nèi)存留給 filesystem cache 的是 100G,那么你就將索引數(shù)據(jù)控制在 100G 以內(nèi),這樣的話,你的數(shù)據(jù)幾乎全部走內(nèi)存來(lái)搜索,性能非常之高,一般可以在 1 秒以內(nèi)。

比如說(shuō)你現(xiàn)在有一行數(shù)據(jù)。id,name,age …. 30 個(gè)字段。但是你現(xiàn)在搜索,只需要根據(jù) id,name,age 三個(gè)字段來(lái)搜索。如果你傻乎乎往 es 里寫入一行數(shù)據(jù)所有的字段,就會(huì)導(dǎo)致說(shuō) 90% 的數(shù)據(jù)是不用來(lái)搜索的,結(jié)果硬是占據(jù)了 es 機(jī)器上的 filesystem cache 的空間,單條數(shù)據(jù)的數(shù)據(jù)量越大,就會(huì)導(dǎo)致 filesystem cahce 能緩存的數(shù)據(jù)就越少。其實(shí),僅僅寫入 es 中要用來(lái)檢索的少數(shù)幾個(gè)字段就可以了,比如說(shuō)就寫入 es id,name,age 三個(gè)字段,然后你可以把其他的字段數(shù)據(jù)存在 mysql/hbase 里,我們一般是建議用 es + hbase 這么一個(gè)架構(gòu)。

hbase 的特點(diǎn)是適用于海量數(shù)據(jù)的在線存儲(chǔ),就是對(duì) hbase 可以寫入海量數(shù)據(jù),但是不要做復(fù)雜的搜索,做很簡(jiǎn)單的一些根據(jù) id 或者范圍進(jìn)行查詢的這么一個(gè)操作就可以了。從 es 中根據(jù) name 和 age 去搜索,拿到的結(jié)果可能就 20 個(gè) doc id,然后根據(jù) doc id 到 hbase 里去查詢每個(gè) doc id 對(duì)應(yīng)的完整的數(shù)據(jù),給查出來(lái),再返回給前端。

寫入 es 的數(shù)據(jù)最好小于等于,或者是略微大于 es 的 filesystem cache 的內(nèi)存容量。然后你從 es 檢索可能就花費(fèi) 20ms,然后再根據(jù) es 返回的 id 去 hbase 里查詢,查 20 條數(shù)據(jù),可能也就耗費(fèi)個(gè) 30ms,可能你原來(lái)那么玩兒,1T 數(shù)據(jù)都放 es,會(huì)每次查詢都是 5~10s,現(xiàn)在可能性能就會(huì)很高,每次查詢就是 50ms。

數(shù)據(jù)預(yù)熱

假如說(shuō),哪怕是你就按照上述的方案去做了,es 集群中每個(gè)機(jī)器寫入的數(shù)據(jù)量還是超過(guò)了filesystem cache 一倍,比如說(shuō)你寫入一臺(tái)機(jī)器 60G 數(shù)據(jù),結(jié)果filesystem cache 就 30G,還是有 30G 數(shù)據(jù)留在了磁盤上。

其實(shí)可以做數(shù)據(jù)預(yù)熱。

舉個(gè)例子,拿微博來(lái)說(shuō),你可以把一些大V,平時(shí)看的人很多的數(shù)據(jù),你自己提前后臺(tái)搞個(gè)系統(tǒng),每隔一會(huì)兒,自己的后臺(tái)系統(tǒng)去搜索一下熱數(shù)據(jù),刷到filesystem cache 里去,后面用戶實(shí)際上來(lái)看這個(gè)熱數(shù)據(jù)的時(shí)候,他們就是直接從內(nèi)存里搜索了,很快。

或者是電商,你可以將平時(shí)查看最多的一些商品,比如說(shuō) iphone 8,熱數(shù)據(jù)提前后臺(tái)搞個(gè)程序,每隔 1 分鐘自己主動(dòng)訪問(wèn)一次,刷到 filesystem cache 里去。

對(duì)于那些你覺得比較熱的、經(jīng)常會(huì)有人訪問(wèn)的數(shù)據(jù),最好做一個(gè)專門的緩存預(yù)熱子系統(tǒng),就是對(duì)熱數(shù)據(jù)每隔一段時(shí)間,就提前訪問(wèn)一下,讓數(shù)據(jù)進(jìn)入 filesystem cache 里面去。這樣下次別人訪問(wèn)的時(shí)候,性能一定會(huì)好很多。

冷熱分離

es 可以做類似于 mysql 的水平拆分,就是說(shuō)將大量的訪問(wèn)很少、頻率很低的數(shù)據(jù),單獨(dú)寫一個(gè)索引,然后將訪問(wèn)很頻繁的熱數(shù)據(jù)單獨(dú)寫一個(gè)索引。最好是將冷數(shù)據(jù)寫入一個(gè)索引中,然后熱數(shù)據(jù)寫入另外一個(gè)索引中,這樣可以確保熱數(shù)據(jù)在被預(yù)熱之后,盡量都讓他們留
在 filesystem os cache 里,別讓冷數(shù)據(jù)給沖刷掉。

你看,假設(shè)你有 6 臺(tái)機(jī)器,2 個(gè)索引,一個(gè)放冷數(shù)據(jù),一個(gè)放熱數(shù)據(jù),每個(gè)索引 3 個(gè) shard。3 臺(tái)機(jī)器放熱數(shù)據(jù) index,另外 3 臺(tái)機(jī)器放冷數(shù)據(jù) index。然后這樣的話,你大量的時(shí)間是在訪問(wèn)熱數(shù)據(jù) index,熱數(shù)據(jù)可能就占總數(shù)據(jù)量的 10%,此時(shí)數(shù)據(jù)量很少,幾乎全都保留在 filesystem cache 里面了,就可以確保熱數(shù)據(jù)的訪問(wèn)性能是很高的。但是對(duì)于冷數(shù)據(jù)而言,是在別的 index 里的,跟熱數(shù)據(jù) index 不在相同的機(jī)器上,大家互相之間都沒什么聯(lián)系了。如果有人訪問(wèn)冷數(shù)據(jù),可能大量數(shù)據(jù)是在磁盤上的,此時(shí)性能差點(diǎn),就 10% 的人去訪問(wèn)冷數(shù)據(jù),90% 的人在訪問(wèn)熱數(shù)據(jù),也無(wú)所謂了。

Document 模型設(shè)計(jì)

對(duì)于 MySQL,我們經(jīng)常有一些復(fù)雜的關(guān)聯(lián)查詢。在 es 里該怎么玩兒,es 里面的復(fù)雜的關(guān)聯(lián)查詢盡量別用,一旦用了性能一般都不太好。

最好是先在 Java 系統(tǒng)里就完成關(guān)聯(lián),將關(guān)聯(lián)好的數(shù)據(jù)直接寫入 es 中。搜索的時(shí)候,就不需要利用 es 的搜索語(yǔ)法來(lái)完成 join 之類的關(guān)聯(lián)搜索了。

document 模型設(shè)計(jì)是非常重要的,很多操作,不要在搜索的時(shí)候才想去執(zhí)行各種復(fù)雜的亂七八糟的操作。es 能支持的操作就那么多,不要考慮用 es 做一些它不好操作的事情。如果真的有那種操作,盡量在 document 模型設(shè)計(jì)的時(shí)候,寫入的時(shí)候就完成。另外對(duì)于一些太復(fù)雜的操作,比如join/nested/parent-child 搜索都要盡量避免,性能都很差的。

分頁(yè)性能優(yōu)化

es 的分頁(yè)是較坑的,為啥呢?舉個(gè)例子吧,假如你每頁(yè)是 10 條數(shù)據(jù),你現(xiàn)在要查詢第 100 頁(yè),實(shí)際上是會(huì)把每個(gè) shard 上存儲(chǔ)的前 1000 條數(shù)據(jù)都查到一個(gè)協(xié)調(diào)節(jié)點(diǎn)上,如果你有個(gè) 5 個(gè) shard,那么就有 5000 條數(shù)據(jù),接著協(xié)調(diào)節(jié)點(diǎn)對(duì)這 5000 條數(shù)據(jù)進(jìn)行一些合并、處理,再獲取到最終第 100 頁(yè)的 10 條數(shù)據(jù)。

分布式的,你要查第 100 頁(yè)的 10 條數(shù)據(jù),不可能說(shuō)從 5 個(gè) shard,每個(gè) shard 就查 2 條數(shù)據(jù),最后到協(xié)調(diào)節(jié)點(diǎn)合并成 10 條數(shù)據(jù)吧?你必須得從每個(gè) shard 都查 1000 條數(shù)據(jù)過(guò)來(lái),然后根據(jù)你的需求進(jìn)行排序、篩選等等操作,最后再次分頁(yè),拿到里面第 100 頁(yè)的數(shù)據(jù)。你翻頁(yè)的時(shí)候,翻的越深,每個(gè) shard 返回的數(shù)據(jù)就越多,而且協(xié)調(diào)節(jié)點(diǎn)處理的時(shí)間越長(zhǎng),非??拥K杂?es 做分頁(yè)的時(shí)候,你會(huì)發(fā)現(xiàn)越翻到后面,就越是慢。

我們之前也是遇到過(guò)這個(gè)問(wèn)題,用 es 作分頁(yè),前幾頁(yè)就幾十毫秒,翻到 10 頁(yè)或者幾十頁(yè)的時(shí)候,基本上就要 5~10 秒才能查出來(lái)一頁(yè)數(shù)據(jù)了。

有什么解決方案嗎?

不允許深度分頁(yè)(默認(rèn)深度分頁(yè)性能很差)

跟產(chǎn)品經(jīng)理說(shuō),你系統(tǒng)不允許翻那么深的頁(yè),默認(rèn)翻的越深,性能就越差。

類似于 app 里的推薦商品不斷下拉出來(lái)一頁(yè)一頁(yè)的

類似于微博中,下拉刷微博,刷出來(lái)一頁(yè)一頁(yè)的,你可以用scroll api,關(guān)于如何使用,自行上網(wǎng)搜索。

scroll 會(huì)一次性給你生成所有數(shù)據(jù)的一個(gè)快照,然后每次滑動(dòng)向后翻頁(yè)就是通過(guò)游標(biāo) scroll_id 移動(dòng),獲取下一頁(yè)下一頁(yè)這樣子,性能會(huì)比上面說(shuō)的那種分頁(yè)性能要高很多很多,基本上都是毫秒級(jí)的。

但是,唯一的一點(diǎn)就是,這個(gè)適合于那種類似微博下拉翻頁(yè)的,不能隨意跳到任何一頁(yè)的場(chǎng)景。也就是說(shuō),你不能先進(jìn)入第 10 頁(yè),然后去第 120 頁(yè),然后又回到第 58 頁(yè),不能隨意亂跳頁(yè)。所以現(xiàn)在很多產(chǎn)品,都是不允許你隨意翻頁(yè)的,app,也有一些網(wǎng)站,做的就是你只能往下拉,一頁(yè)一頁(yè)的翻。

初始化時(shí)必須指定 scroll參數(shù),告訴 es 要保存此次搜索的上下文多長(zhǎng)時(shí)間。你需要確保用戶不會(huì)持續(xù)不斷翻頁(yè)翻幾個(gè)小時(shí),否則可能因?yàn)槌瑫r(shí)而失敗。

除了用scroll api,你也可以用search_after 來(lái)做,search_after 的思想是使用前一頁(yè)的結(jié)果來(lái)幫助檢索下一頁(yè)的數(shù)據(jù),顯然,這種方式也不允許你隨意翻頁(yè),你只能一頁(yè)頁(yè)往后翻。初始化時(shí),需要使用一個(gè)唯一值的字段作為 sort 字段。

特別推薦一個(gè)分享架構(gòu)+算法的優(yōu)質(zhì)內(nèi)容,還沒關(guān)注的小伙伴,可以長(zhǎng)按關(guān)注一下:

ElasticSearch在數(shù)十億級(jí)別數(shù)據(jù)下,如何提高查詢效率?

ElasticSearch在數(shù)十億級(jí)別數(shù)據(jù)下,如何提高查詢效率?

ElasticSearch在數(shù)十億級(jí)別數(shù)據(jù)下,如何提高查詢效率?

長(zhǎng)按訂閱更多精彩▼

ElasticSearch在數(shù)十億級(jí)別數(shù)據(jù)下,如何提高查詢效率?

如有收獲,點(diǎn)個(gè)在看,誠(chéng)摯感謝

免責(zé)聲明:本文內(nèi)容由21ic獲得授權(quán)后發(fā)布,版權(quán)歸原作者所有,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。文章僅代表作者個(gè)人觀點(diǎn),不代表本平臺(tái)立場(chǎng),如有問(wèn)題,請(qǐng)聯(lián)系我們,謝謝!

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請(qǐng)聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請(qǐng)及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

倫敦2024年8月29日 /美通社/ -- 英國(guó)汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動(dòng) BSP

北京2024年8月28日 /美通社/ -- 越來(lái)越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來(lái)越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對(duì)日本游戲市場(chǎng)的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)開幕式在貴陽(yáng)舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語(yǔ)權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對(duì)環(huán)境變化,經(jīng)營(yíng)業(yè)績(jī)穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤(rùn)率延續(xù)升勢(shì) 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長(zhǎng) 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競(jìng)爭(zhēng)力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競(jìng)爭(zhēng)優(yōu)勢(shì)...

關(guān)鍵字: 通信 BSP 電信運(yùn)營(yíng)商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺(tái)與中國(guó)電影電視技術(shù)學(xué)會(huì)聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會(huì)上宣布正式成立。 活動(dòng)現(xiàn)場(chǎng) NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長(zhǎng)三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會(huì)上,軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司(以下簡(jiǎn)稱"軟通動(dòng)力")與長(zhǎng)三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉