架構(gòu)師說(shuō)了：不想做背鍋俠？生產(chǎn)問(wèn)題要這樣查
話說(shuō)這天一大早，那個(gè)悲催的中年架構(gòu)師大劉又被手機(jī)微信群給炸醒。部門的運(yùn)維兄弟在公司微信群里說(shuō)： 短信的生產(chǎn)環(huán)境服務(wù)器 CPU 占用率過(guò)高，瘋狂報(bào)警。是不是你們昨天上線看門狗導(dǎo)致的？ 大劉迷了巴登的想了想，沒(méi)錯(cuò)，昨天確實(shí)給短信服務(wù)裝上了看門狗。但是看門狗服務(wù)肯定不會(huì)有問(wèn)題（架構(gòu)師必備的蜜汁自信），而且上線之前各輪測(cè)試也都測(cè)過(guò)了，沒(méi)見(jiàn)過(guò)這個(gè)想象啊。 難道是測(cè)試妹子沒(méi)測(cè)試到位？難道線上短信應(yīng)用自身出現(xiàn)了問(wèn)題？ 生產(chǎn)無(wú)小事，小事更不能忽視，主要是怕扣績(jī)效獎(jiǎng)金。大劉迅速打開(kāi)電腦，打開(kāi) VPN ，遠(yuǎn)程登上短信生產(chǎn)服務(wù)器，開(kāi)始大劉最拿手的 2W1H 三板斧診斷之旅。 接下來(lái)的診斷內(nèi)容有點(diǎn)燒腦，節(jié)奏有點(diǎn)快，請(qǐng)大家坐穩(wěn)扶好。
1. 病號(hào)是誰(shuí)（WHO）？
大劉拿出控制臺(tái)診斷儀器，輸入 top 命令一探究竟。我勒個(gè)去，不看不知道一看嚇一跳，PID 為 1878 的病號(hào)，CPU 占用居然 200% 多。 
問(wèn)題算是定位到了，但是 PID 為 1878 的病號(hào)到底是誰(shuí)，難道真是昨天上線的看門狗 ？ 雖然大劉久經(jīng)職場(chǎng)，但是排查生產(chǎn)問(wèn)題時(shí)，內(nèi)心還是比較忐忑，畢竟這是生產(chǎn)環(huán)境。 說(shuō)時(shí)遲那時(shí)快，只見(jiàn)大劉一個(gè)命令輸入：
ps -ef | grep 1878定睛一看，原來(lái)是放屁瞅別人，短信服務(wù)自己在作祟，和看門狗沒(méi)關(guān)系，大劉心里一下子平緩了不少。 鍋找到了主兒，其實(shí)這個(gè)時(shí)候大劉完全可以把這個(gè)問(wèn)題甩給短信開(kāi)發(fā)團(tuán)隊(duì)，但是大劉最喜歡做的不是甩鍋，而是打破砂鍋刨到底。
2. 病號(hào)哪里出了問(wèn)題（WHERE）？
為什么 1878 號(hào)病人占用 CPU 會(huì)這么高呢？ 只見(jiàn)黑乎乎的控制臺(tái)診斷儀器上，大劉熟練的輸入：
jstack -l 1878 1878號(hào)病歷.log這樣便得到一份 1878 號(hào)病人的病歷詳情單，一會(huì)兒用得上。 到底 1878 號(hào)病人的哪個(gè)部位出了問(wèn)題呢？ 話沒(méi)說(shuō)完，只見(jiàn)大劉又在控制臺(tái)診斷儀器上，輸入一個(gè)：
top -Hp 1878 白板黑字，把 1878 號(hào)病人的器官信息全部列了出來(lái)。 看到結(jié)果，甚是一驚，PID 代號(hào)為 8721 的器官占用 CPU 100% 多。 疑惑油然而生，這個(gè) PID 代號(hào) 為 8721 的器官是啥，是頭、是眼睛、還是胳膊腿呢？這些器官展示的 PID 列都是昵稱，都這么善于偽裝，如何揭露它的真面目呢？ 還好大劉有高招，借助照妖鏡算法，熟練的輸入：
printf "%x\n" 8721 果真使得代號(hào)為 8721 的器官，現(xiàn)了真身，真實(shí)身份居然是 2211 的呼吸道，怪不得病號(hào)一直氣喘吁吁，上氣不接下氣。 到這一步還無(wú)法對(duì)癥下藥啊，還需要進(jìn)一步確診 2211 的呼吸道到底出了什么幺蛾子，導(dǎo)致 1878 號(hào)病人一直氣喘吁吁，上氣不接下氣？ 只見(jiàn)黑乎乎的控制臺(tái)診斷儀器上，大劉再次飛一般的在輸入：
grep 2211 -A20 1878號(hào)病歷.log 診斷結(jié)果隨之顯示在診斷儀器上。 曾經(jīng)背了很多鍋的大劉，看到診斷結(jié)果心里樂(lè)了一下，一眼就看出是高并發(fā)情況下用了 HashMap 的問(wèn)題（請(qǐng)大家們自行尋找谷歌、百度，就不在此深入展開(kāi)啦），終于撥開(kāi)云霧見(jiàn)青天。
3. 如何對(duì)癥下藥（ HOW ）？
在大劉行云流水沒(méi)有一絲一毫的拖泥帶水般的神操作下，1878 號(hào)病人的診斷也就結(jié)束了，這個(gè)鍋就徹底被打破了。 術(shù)業(yè)有專攻，大劉就可以鄭重的告訴短信開(kāi)發(fā)同事具體原因了，捉得病根，開(kāi)發(fā)同事也就可以對(duì)癥下藥啦。 大劉這套行走江湖的診斷問(wèn)題方式你 get 到了沒(méi)？大劉自己簡(jiǎn)單概括為 2W1H 三板斧：病號(hào)是誰(shuí)、病號(hào)哪里出了問(wèn)題、對(duì)癥下藥。 1、病號(hào)是誰(shuí)？（WHO）
- 第一步：采用 top 命令，找出 CPU 占用最高的病號(hào) PID ；
- 第二步：通過(guò) ps -ef | grep PID 查看病號(hào)對(duì)應(yīng)的真實(shí)身份。
2、病號(hào)哪里出了問(wèn)題？（WHERE）
- 第一步：采用 jstack -l PID >> PID.log 獲取病號(hào)的各器官信息的病歷單；
- 第二步：采用 top -Hp PID 拿到占用 CPU 最高的器官昵稱 PID ;
- 第三步：采用 printf "%x\n" PID 根據(jù)器官昵稱 PID 的拿到器官真實(shí)身份 TID ;
- 第四步：采用 grep TID -A20 pid.log 根據(jù) TID 去病歷單中匹配，確定是哪出了問(wèn)題。
3、捉得病根、便可拿出醫(yī)藥箱，對(duì)癥下藥啦。（HOW） 作為程序猿，工作中難免會(huì)遇到不少類似這樣的問(wèn)題。面對(duì)問(wèn)題，你如果像無(wú)頭蒼蠅一樣亂撞，撞得頭破血流依然不知道緣由，在背鍋即將成為現(xiàn)實(shí)時(shí)，那就不妨試試大劉的 2W1H 三板斧的診斷方式，說(shuō)不定會(huì)幫你快速定位、解決線上問(wèn)題，畢竟快速的解決生產(chǎn)問(wèn)題會(huì)把損失降到最低。 最后，想對(duì)大家說(shuō)一句： 作為程序猿，一定要有程序猿的態(tài)度。避免背鍋，拒絕甩鍋，打破砂鍋，從你我做起。
特別推薦一個(gè)分享架構(gòu)+算法的優(yōu)質(zhì)內(nèi)容，還沒(méi)關(guān)注的小伙伴，可以長(zhǎng)按關(guān)注一下：
長(zhǎng)按訂閱更多精彩▼
如有收獲，點(diǎn)個(gè)在看，誠(chéng)摯感謝
免責(zé)聲明：本文內(nèi)容由21ic獲得授權(quán)后發(fā)布，版權(quán)歸原作者所有，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。文章僅代表作者個(gè)人觀點(diǎn)，不代表本平臺(tái)立場(chǎng)，如有問(wèn)題，請(qǐng)聯(lián)系我們，謝謝！
下載文檔
