不過，大數(shù)據(jù)殺熟早已是屢見不鮮的事情了，事實上，幾乎所有大平臺都存在這種現(xiàn)象，沒辦法，這就是真實的互聯(lián)網(wǎng)。

剎車，大數(shù)據(jù)殺熟的話題就說到這了，我們還是回歸到今日的技術(shù)主題：什么是軟中斷？。

中斷是什么？

先來看看什么是中斷？在計算機中，中斷是系統(tǒng)用來響應(yīng)硬件設(shè)備請求的一種機制，操作系統(tǒng)收到硬件的中斷請求，會打斷正在執(zhí)行的進程，然后調(diào)用內(nèi)核中的中斷處理程序來響應(yīng)請求。

這樣的解釋可能過于學(xué)術(shù)了，容易云里霧里，我就舉個生活中取外賣的例子。

小林中午搬完磚，肚子餓了，點了份白切雞外賣，這次我?guī)чW了，沒有被某團大數(shù)據(jù)大熟。雖然平臺上會顯示配送進度，但是我也不能一直傻傻地盯著呀，時間很寶貴，當然得去干別的事情，等外賣到了配送員會通過「電話」通知我，電話響了，我就會停下手中地事情，去拿外賣。

這里的打電話，其實就是對應(yīng)計算機里的中斷，沒接到電話的時候，我可以做其他的事情，只有接到了電話，也就是發(fā)生中斷，我才會停下當前的事情，去進行另一個事情，也就是拿外賣。

從這個例子，我們可以知道，中斷是一種異步的事件處理機制，可以提高系統(tǒng)的并發(fā)處理能力。

操作系統(tǒng)收到了中斷請求，會打斷其他進程的運行，所以中斷請求的響應(yīng)程序，也就是中斷處理程序，要盡可能快的執(zhí)行完，這樣可以減少對正常進程運行調(diào)度地影響。

而且，中斷處理程序在響應(yīng)中斷時，可能還會「臨時關(guān)閉中斷」，這意味著，如果當前中斷處理程序沒有執(zhí)行完之前，系統(tǒng)中其他的中斷請求都無法被響應(yīng)，也就說中斷有可能會丟失，所以中斷處理程序要短且快。

還是回到外賣的例子，小林到了晚上又點起了外賣，這次為了犒勞自己，共點了兩份外賣，一份小龍蝦和一份奶茶，并且是由不同地配送員來配送，那么問題來了，當?shù)谝环萃赓u送到時，配送員給我打了長長的電話，說了一些雜七雜八的事情，比如給個好評等等，但如果這時另一位配送員也想給我打電話。

很明顯，這時第二位配送員因為我在通話中（相當于關(guān)閉了中斷響應(yīng)），自然就無法打通我的電話，他可能嘗試了幾次后就走掉了（相當于丟失了一次中斷）。

什么是軟中斷？

前面我們也提到了，中斷請求的處理程序應(yīng)該要短且快，這樣才能減少對正常進程運行調(diào)度地影響，而且中斷處理程序可能會暫時關(guān)閉中斷，這時如果中斷處理程序執(zhí)行時間過長，可能在還未執(zhí)行完中斷處理程序前，會丟失當前其他設(shè)備的中斷請求。

那 Linux 系統(tǒng)為了解決中斷處理程序執(zhí)行過長和中斷丟失的問題，將中斷過程分成了兩個階段，分別是「上半部和下半部分」。

• 上半部用來快速處理中斷，一般會暫時關(guān)閉中斷請求，主要負責(zé)處理跟硬件緊密相關(guān)或者時間敏感的事情。

• 下半部用來延遲處理上半部未完成的工作，一般以「內(nèi)核線程」的方式運行。

前面的外賣例子，由于第一個配送員長時間跟我通話，則導(dǎo)致第二位配送員無法撥通我的電話，其實當我接到第一位配送員的電話，可以告訴配送員說我現(xiàn)在下樓，剩下的事情，等我們見面再說（上半部），然后就可以掛斷電話，到樓下后，在拿外賣，以及跟配送員說其他的事情（下半部）。

這樣，第一位配送員就不會占用我手機太多時間，當?shù)诙慌渌蛦T正好過來時，會有很大幾率撥通我的電話。

再舉一個計算機中的例子，常見的網(wǎng)卡接收網(wǎng)絡(luò)包的例子。

網(wǎng)卡收到網(wǎng)絡(luò)包后，會通過硬件中斷通知內(nèi)核有新的數(shù)據(jù)到了，于是內(nèi)核就會調(diào)用對應(yīng)的中斷處理程序來響應(yīng)該事件，這個事件的處理也是會分成上半部和下半部。

上部分要做到快速處理，所以只要把網(wǎng)卡的數(shù)據(jù)讀到內(nèi)存中，然后更新一下硬件寄存器的狀態(tài)，比如把狀態(tài)更新為表示數(shù)據(jù)已經(jīng)讀到內(nèi)存中的狀態(tài)值。

接著，內(nèi)核會觸發(fā)一個軟中斷，把一些處理比較耗時且復(fù)雜的事情，交給「軟中斷處理程序」去做，也就是中斷的下半部，其主要是需要從內(nèi)存中找到網(wǎng)絡(luò)數(shù)據(jù)，再按照網(wǎng)絡(luò)協(xié)議棧，對網(wǎng)絡(luò)數(shù)據(jù)進行逐層解析和處理，最后把數(shù)據(jù)送給應(yīng)用程序。

所以，中斷處理程序的上部分和下半部可以理解為：

• 上半部直接處理硬件請求，也就是硬中斷，主要是負責(zé)耗時短的工作，特點是快速執(zhí)行；

• 下半部是由內(nèi)核觸發(fā)，也就說軟中斷，主要是負責(zé)上半部未完成的工作，通常都是耗時比較長的事情，特點是延遲執(zhí)行；

還有一個區(qū)別，硬中斷（上半部）是會打斷 CPU 正在執(zhí)行的任務(wù)，然后立即執(zhí)行中斷處理程序，而軟中斷（下半部）是以內(nèi)核線程的方式執(zhí)行，并且每一個 CPU 都對應(yīng)一個軟中斷內(nèi)核線程，名字通常為「ksoftirqd/CPU 編號」，比如 0 號 CPU 對應(yīng)的軟中斷內(nèi)核線程的名字是 ksoftirqd/0

不過，軟中斷不只是包括硬件設(shè)備中斷處理程序的下半部，一些內(nèi)核自定義事件也屬于軟中斷，比如內(nèi)核調(diào)度等、RCU 鎖（內(nèi)核里常用的一種鎖）等。

系統(tǒng)里有哪些軟中斷？

在 Linux 系統(tǒng)里，我們可以通過查看 /proc/softirqs 的 內(nèi)容來知曉「軟中斷」的運行情況，以及 /proc/interrupts 的 內(nèi)容來知曉「硬中斷」的運行情況。

接下來，就來簡單的解析下 ?/proc/softirqs 文件的內(nèi)容，在我服務(wù)器上查看到的文件內(nèi)容如下：

你可以看到，每一個 CPU 都有自己對應(yīng)的不同類型軟中斷的累計運行次數(shù)，有 3 點需要注意下。

第一點，要注意第一列的內(nèi)容，它是代表著軟中斷的類型，在我的系統(tǒng)里，軟中斷包括了 10 個類型，分別對應(yīng)不同的工作類型，比如 NET_TX 表示網(wǎng)絡(luò)接收中斷，NET_RX 表示網(wǎng)絡(luò)發(fā)送中斷、TIMER 表示定時中斷、RCU 表示 RCU 鎖中斷、SCHED 表示內(nèi)核調(diào)度中斷。

第二點，要注意同一種類型的軟中斷在不同 CPU 的分布情況，正常情況下，同一種中斷在不同 CPU 上的累計次數(shù)相差不多，比如我的系統(tǒng)里，NET_RX 在 CPU0 、CPU1、CPU2、CPU3 上的中斷次數(shù)基本是同一個數(shù)量級，相差不多。

第三點，這些數(shù)值是系統(tǒng)運行以來的累計中斷次數(shù)，數(shù)值的大小沒什么參考意義，但是系統(tǒng)的中斷次數(shù)的變化速率才是我們要關(guān)注的，我們可以使用 watch -d cat /proc/softirqs 命令查看中斷次數(shù)的變化速率。

前面提到過，軟中斷是以內(nèi)核線程的方式執(zhí)行的，我們可以用 ps 命令可以查看到，下面這個就是在我的服務(wù)器上查到軟中斷內(nèi)核線程的結(jié)果：

可以發(fā)現(xiàn)，內(nèi)核線程的名字外面都有有中括號，這說明 ps 無法獲取它們的命令行參數(shù)，所以一般來說，名字在中括號里到，都可以認為是內(nèi)核線程。

而且，你可以看到有 4 個 ksoftirqd 內(nèi)核線程，這是因為我這臺服務(wù)器的 CPU 是 4 核心的，每個 CPU 核心都對應(yīng)著一個內(nèi)核線程。

如何定位軟中斷 CPU 使用率過高的問題？

要想知道當前的系統(tǒng)的軟中斷情況，我們可以使用 top 命令查看，下面是一臺服務(wù)器上的 top 的數(shù)據(jù)：

上圖中的黃色部分 si，就是 CPU 在軟中斷上的使用率，而且可以發(fā)現(xiàn)，每個 CPU 使用率都不高，兩個 CPU 的使用率雖然只有 3% 和 4% 左右，但是都是用在軟中斷上了。

另外，也可以看到 CPU 使用率最高的進程也是軟中斷 ksoftirqd，因此可以認為此時系統(tǒng)的開銷主要來源于軟中斷。

如果要知道是哪種軟中斷類型導(dǎo)致的，我們可以使用 watch -d cat /proc/softirqs 命令查看每個軟中斷類型的中斷次數(shù)的變化速率。

一般對于網(wǎng)絡(luò) I/O 比較高的 Web 服務(wù)器，NET_RX 網(wǎng)絡(luò)接收中斷的變化速率相比其他中斷類型快很多。

如果發(fā)現(xiàn) NET_RX 網(wǎng)絡(luò)接收中斷次數(shù)的變化速率過快，接下里就可以使用 sar -n DEV 查看網(wǎng)卡的網(wǎng)絡(luò)包接收速率情況，然后分析是哪個網(wǎng)卡有大量的網(wǎng)絡(luò)包進來。

接著，在通過 tcpdump 抓包，分析這些包的來源，如果是非法的地址，可以考慮加防火墻，如果是正常流量，則要考慮硬件升級等。

總結(jié)

為了避免由于中斷處理程序執(zhí)行時間過長，而影響正常進程的調(diào)度，Linux 將中斷處理程序分為上半部和下半部：

• 上半部，對應(yīng)硬中斷，由硬件觸發(fā)中斷，用來快速處理中斷；

• 下半部，對應(yīng)軟中斷，由內(nèi)核觸發(fā)中斷，用來異步處理上半部未完成的工作；

Linux 中的軟中斷包括網(wǎng)絡(luò)收發(fā)、定時、調(diào)度、RCU 鎖等各種類型，可以通過查看 /proc/softirqs 來觀察軟中斷的累計中斷次數(shù)情況，如果要實時查看中斷次數(shù)的變化率，可以使用 watch -d cat /proc/softirqs 命令。

每一個 CPU 都有各自的軟中斷內(nèi)核線程，我們還可以用 ps 命令來查看內(nèi)核線程，一般名字在中括號里面到，都認為是內(nèi)核線程。

如果在 top 命令發(fā)現(xiàn)，CPU 在軟中斷上的使用率比較高，而且 CPU 使用率最高的進程也是軟中斷 ksoftirqd 的時候，這種一般可以認為系統(tǒng)的開銷被軟中斷占據(jù)了。

這時我們就可以分析是哪種軟中斷類型導(dǎo)致的，一般來說都是因為網(wǎng)絡(luò)接收軟中斷導(dǎo)致的，如果是的話，可以用 sar 命令查看是哪個網(wǎng)卡的有大量的網(wǎng)絡(luò)包接收，再用 tcpdump 抓網(wǎng)絡(luò)包，做進一步分析該網(wǎng)絡(luò)包的源頭是不是非法地址，如果是就需要考慮防火墻增加規(guī)則，如果不是，則考慮硬件升級等。

推薦閱讀

帶寬、延時、吞吐率、PPS 這些都是啥？

你不好奇 Linux 是如何收發(fā)網(wǎng)絡(luò)包的？