www.久久久久|狼友网站av天堂|精品国产无码a片|一级av色欲av|91在线播放视频|亚洲无码主播在线|国产精品草久在线|明星AV网站在线|污污内射久久一区|婷婷综合视频网站

當(dāng)前位置:首頁 > 公眾號精選 > 架構(gòu)師社區(qū)
[導(dǎo)讀]線上數(shù)據(jù)庫服務(wù)器的 CPU 被打滿,同時觸發(fā)了生產(chǎn)數(shù)據(jù)庫只讀延遲的限定時間并且發(fā)出告警,而且告警的過程持續(xù)了半個小時。

來源:鄙人薛某  作者:很懶的程序員

上周四午休時分,我正在工位上小憩,睡夢中仿佛看到了自己拿著李白在榮耀峽谷里大殺四方的情景,就在我剛拿完五殺準(zhǔn)備帶領(lǐng)隊友推對面水晶的時候,一句慌亂急促的“糟了”把我從睡夢中驚醒......

▍反常的 SQL 語句

我瞇開朦朧的雙眼,才發(fā)現(xiàn)剛才的發(fā)聲來源于我的組長莊哥,看到他在緊張的點開日志系統(tǒng)查看日志,我預(yù)感到有什么不妙的事情發(fā)生。

仔細(xì)一問才知道,原來就在我瞇眼的期間,線上數(shù)據(jù)庫服務(wù)器的 CPU 被打滿,同時觸發(fā)了生產(chǎn)數(shù)據(jù)庫只讀延遲的限定時間并且發(fā)出告警,而且告警的過程持續(xù)了半個小時。

這讓我倒吸了一口涼氣,因為我們組做的系統(tǒng)很多都用的是同一個數(shù)據(jù)庫服務(wù)器,日用戶活躍量有好幾十萬,如果服務(wù)器崩潰了將會使所有的系統(tǒng)服務(wù)都不可用。

于是我們趕緊通過 SQL 日志進(jìn)行問題查找,最后排查出來是因為一張 SQL 的高量查詢沒有走索引導(dǎo)致。

日志列表顯示,這條 SQL 語句的掃描行數(shù)達(dá)到了上百萬,基本就是全表掃描的情況,而且半個小時的時間查詢了達(dá)上萬次,每條 SQL 查詢的耗時都在 3000ms 以上。

我的天啊,難怪服務(wù)器會 CPU 打滿,這么一條耗時的 SQL 語句查詢量這么大,數(shù)據(jù)庫的資源當(dāng)然是直接就崩潰了。
這是當(dāng)時那條 SQL 的查詢情況:

因為一條SQL,程序員差點被祭天......

▍臨時處理

看了這條語句,我又倒吸一口涼氣,這不就是我寫的系統(tǒng)調(diào)用的 SQL 語句嗎?完了,這回逃不掉了,真是人在睡夢里,鍋從天上來。


因為一條SQL,程序員差點被祭天......

當(dāng)然,因為是我自己寫的 SQL,所以我一看就知道這條語句是有問題的。

根據(jù)我的代碼處理,這條 SQL 的調(diào)用還少了個重要的參數(shù) user_fruit_id,這個參數(shù)沒有傳的話是不應(yīng)該走這條 SQL 查詢的。
在我的設(shè)計里,該參數(shù)是數(shù)據(jù)表里一個聯(lián)合索引的最左側(cè)字段,如果該字段沒有傳值的話,那么索引就不會生效了。

KEY `idx_userfruitid_type` (`user_fruit_id`,`task_type`,`receive_start_time`,`receive_end_time`) USING BTREE

雖然定位到了 SQL 語句,但是線上的問題刻不容緩,總不可能找出 Bug 改完再上線吧。

所以,我們只能做了一個臨時處理,就是在原來的表上多加了一個聯(lián)合索引,其實就是去掉了 user_fruit_id 字段,讓這些高量的查詢都能走新的索引。

就像下面這樣:

KEY `idx_task_type_receive_start_time` (`task_type`,`receive_start_time`,`receive_end_time`,`created_time`) USING BTREE

加上索引后,SQL 的掃描行數(shù)就大幅度的降低了,重啟實例后就又能正常運行了。

▍最左匹配原則

那么為什么最左側(cè)的字段沒傳索引就不生效了,這是因為 MySQL 的聯(lián)合索引是基于“最左匹配原則”匹配的。

我們都知道,索引的底層是 B+ 樹結(jié)構(gòu),聯(lián)合索引的結(jié)構(gòu)也是 B+ 樹,只不過鍵值數(shù)量不是一個,而是多個,構(gòu)建一顆 B+ 樹只能根據(jù)一個值來構(gòu)建,因此數(shù)據(jù)庫依據(jù)聯(lián)合索引最左的字段來構(gòu)建 B+ 樹。
例如我們用兩個字段(name,age)這個聯(lián)合索引來分析:

因為一條SQL,程序員差點被祭天......

圖片來源于林曉斌老師的《MySQL 實戰(zhàn) 45 講》課程

當(dāng)我們在 where 條件中查找 name 為“張三”的所有記錄的時候,可以快速定位到 ID4,并且查出所有包含“張三”的記錄。

而如果要找“張三,10”這一條特定的數(shù)據(jù),就可以用 name = "張三" and age = 10 獲取。

因為聯(lián)合索引的鍵值對是兩個,所以只要前面的 name 確定的情況下就可以進(jìn)一步定位到具體的 age 記錄。

但是如果你的查詢條件只有 age 的話,那么索引就不會生效,因為沒有匹配最左邊的字段,后面所有的索引字段都不會生效。

所以我之前寫的 SQL 語句才會因為少了最左邊的 user_fruit_id 字段而走了全表掃描的查詢方式。

正常來說,假設(shè)一個聯(lián)合索引設(shè)計成(a,b)這樣的結(jié)構(gòu)的話,那么用 a and b 作為條件,或者 a 單獨作為查詢條件都會走索引,這種情況下我們就不要再為 a 字段單獨設(shè)計索引了。

但如果查詢條件里面只有 b 的語句,是無法使用(a,b)這個聯(lián)合索引的,這時候你不得不維護(hù)另外一個索引,也就是說你需要同時維護(hù)(a,b)、(b) 這兩個索引。

▍找出 Bug

雖然臨時做了處理,但問題并不算解決,很明顯是系統(tǒng)出現(xiàn)了 Bug 才會有走這樣的查詢條件。

因為是我自己寫的代碼,所以知道是哪條 SQL 后我就馬上定位到了代碼里的具體方法,后來才發(fā)現(xiàn)是因為我對 user_fruit_id 字段的判空處理不生效所致。

因為該字段是從調(diào)用方傳過來的,所以我在方法參數(shù)里對該字段做了非空限制的注解,也就是 javax 包下的 @NotNull:
public class GardenUserTaskListReq implements Serializable { private static final long serialVersionUID = -9161295541482297498L; @ApiModelProperty(notes = "水果id") @NotNull(message = "水果id不能為空") private Long userFruitId; /**以下省略*/ .....................
}

雖然加上該注解來做非空校驗,但我卻沒有在參數(shù)加上另一個注解 @Validated。
該注解如果沒加上的話,那么調(diào)用 javax 包下的校驗規(guī)則就都不生效,正確的寫法是在 controller 層方法的參數(shù)前面加上注解:

因為一條SQL,程序員差點被祭天......

除此之外,因為 user_fruit_id 這個字段是另一張表的主鍵,我在代碼里也沒有對這張表是否存在這個 id 做查詢判斷。
這樣一來,無論調(diào)用方傳什么值過來都會直接觸發(fā) SQL 查詢,并且在不跑索引的情況下直接走全表掃描。

因為一條SQL,程序員差點被祭天......

不得不說,這真是個低級錯誤,說真的,我對這個原因真是感到嘀笑皆非,再怎么說也工作幾年了,怎么還犯一些新手級別的錯誤呢,這臉打得真是讓我相當(dāng)慚愧。

▍總結(jié)

雖然是低級錯誤,但造成的后果也算挺嚴(yán)重了,這次事件也讓我更加的警醒,在以后的開發(fā)工作中必須要遵守該有的原則,大概有這么幾點:

①不能相信調(diào)用端。重要的參數(shù)都要先做驗證,即使是非空值也需要做驗證,不符合條件的就要直接返回或拋異常,不能參與業(yè)務(wù) SQL 的查詢,否則頻繁的訪問也會對服務(wù)造成負(fù)擔(dān)。

②SQL 語句要先做性能查詢。對于數(shù)據(jù)量大的表,建好索引后,所有的 SQL 查詢語句要用 explain 檢測性能,并且根據(jù)結(jié)果來進(jìn)一步優(yōu)化索引。

③代碼必須要 Review。之前我沒有放太大的精力在代碼的 Review 上,雖說跟迭代排期的緊湊也有關(guān)系,但不管怎么說,Bug 確實是我的疏忽造成的,尤其是像空值這種細(xì)小的錯誤在 Java 里可以說家常便飯。

千里之堤毀于蟻穴,有時一個小 Bug 很容易就引發(fā)整個系統(tǒng)的崩盤,這一次的問題也讓我更加深刻的認(rèn)識到了 Review 代碼的重要性,不管業(yè)務(wù)開發(fā)的工作量有多麻煩,這一步操作絕對不能忽視。


免責(zé)聲明:本文內(nèi)容由21ic獲得授權(quán)后發(fā)布,版權(quán)歸原作者所有,本平臺僅提供信息存儲服務(wù)。文章僅代表作者個人觀點,不代表本平臺立場,如有問題,請聯(lián)系我們,謝謝!

本站聲明: 本文章由作者或相關(guān)機構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫毥谦F公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險,如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應(yīng)對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅持高質(zhì)量發(fā)展策略,塑強核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運營商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學(xué)會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團(tuán))股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉