Linux性能挖潛的隱藏招數(shù)：內(nèi)核CPU親和性參數(shù)調(diào)整
作者：李彬，趙雪楓，金融科技工程師，架構(gòu)師社區(qū)特邀作者！
應(yīng)用服務(wù)性能調(diào)優(yōu)，是每個系統(tǒng)投產(chǎn)前都需要關(guān)注的問題，系統(tǒng)及軟件層面的調(diào)優(yōu)方法均有大量文章介紹，但在所有招數(shù)使出后，是否就無潛可挖了？如果了解Linux內(nèi)核運行特征，經(jīng)過簡單的配置，仍存在不少可行的方案。本文將介紹的是基于Linux內(nèi)核CPU親和性參數(shù)調(diào)整，榨取最后一絲性能優(yōu)勢的方案。
一、背景知識
CPU是常規(guī)應(yīng)用運行計算的核心，從性能角度至少需要了解物理CPU、邏輯CPU和超線程技術(shù)實現(xiàn)。
1. 物理CPU：機器上實際安裝的CPU個數(shù)。
2. 邏輯CPU：物理CPU會有多個邏輯運算核心，基于Intel的超線程技術(shù)（Hyper-Threading），可以在此基礎(chǔ)上形成更多核心算力。
3. 超線程技術(shù)（Hyper-Threading）：就是利用特殊的硬件指令，把一個CPU核模擬成多個邏輯CPU，形成多核多線程CPU。
綜上所述，三者的邏輯關(guān)系如下：
邏輯CPU的數(shù)量=物理CPU的數(shù)量*CPU的核數(shù)*2（如果支持并開啟了超線程的話）
二、CPU的親和性參數(shù)原理
CPU的親和性是一種調(diào)度屬性，它可以將一個進程綁定到一個或者一組CPU上。CPU的親和性分為兩種：軟親和性和硬親和性。
1）軟CPU親和性就是進程要在指定的CPU上盡量長時間地運行而不被遷移到其他處理器上運行。Linux內(nèi)核的自身特性，意味著進程通常不會在處理器之間頻繁遷移，以避免這種遷移對于計算能力的消耗，以達(dá)到最佳的平衡性。
2）Linux內(nèi)核中還包含了一種硬CPU親和性的機制，這個機制讓開發(fā)人員可以實現(xiàn)硬CPU親和性。這意味著可以顯式指定進程在哪個（或哪些）處理器上運行。
在Linux內(nèi)核中進程數(shù)據(jù)結(jié)構(gòu)為task_struct，其中與親和性相關(guān)的是cpus_allowed位掩碼。這個位掩碼由n位組成，與系統(tǒng)中的n個邏輯CPU一一對應(yīng)。如果為給定的進程設(shè)置了給定的位，那么這個進程就可以在相關(guān)的CPU上運行了。
以32顆邏輯CPU服務(wù)器為例：
0x00000001 處理器0號邏輯CPU可運行
0x00000003 處理器0-1號邏輯CPU可遷移運行
0xFFFFFFFF 處理器0-31號邏輯CPU均可遷移運行（Linux內(nèi)核缺省狀態(tài)）
通常Linux內(nèi)核都可以很好地對進程進行調(diào)度，在應(yīng)該運行的地方運行進程，也就是說，在可用的處理器上運行并獲得很好的整體性能。Linux內(nèi)核中包含了一些用來檢測CPU之間任務(wù)負(fù)載遷移的算法，可以啟用進程遷移來降低繁忙的處理器的壓力。
三、CPU的親和性設(shè)置
Linux提供了一些方法，可以讓用戶通過修改位掩碼來指定進程只能在某個（或者某些）CPU上運行。一般情況下，在應(yīng)用程序中只需要使用缺省的調(diào)度器行為。然而，有時候我們可能會希望修改這些缺省行為以實現(xiàn)性能的優(yōu)化。一般來說，我們要使用硬CPU親和性有3個原因：有大量的計算要做；應(yīng)用程序復(fù)雜；正在運行時間敏感的、決定性的進程。
經(jīng)過對各種方式的總結(jié)，以下通過兩個清晰的事例，對CPU親和性的配置方式進行說明。
1）在應(yīng)用源碼中設(shè)置CPU親和性
硬CPU親和性的設(shè)置可以通過編程來實現(xiàn)，Linux內(nèi)核提供了一些系統(tǒng)API，如：sched_set_affinity()，sched_get_affinity()，CPU_ZERO()，CPU_SET()等。一個簡單設(shè)置硬CPU親和性的例子如下：
#include
#include
#include
#include
int main(void)
{
int i, nrcpus;
cpu_set_t mask;
unsigned long bitmask = 0;
CPU_ZERO(&mask); //清空一個集合
CPU_SET(0, &mask); //將給定的CPU0加入集合
CPU_SET(2, &mask);//將給定的CPU2加入集合
if (sched_setaffinity(0,sizeof(cpu_set_t), &mask) == -1)
{
perror("sched_setaffinity");
exit(-1);
}
return 0;
}
2）通過命令方式設(shè)置CPU親和性
硬CPU親和性的設(shè)置還可以通過taskset命令來設(shè)置。taskset的命令格式是：
taskset [options] mask command [arg]…
taskset [options] –p[mask] pid
mask是CPU親和性
command是可執(zhí)行程序
arg是command的參數(shù)
pid是進程ID
第一個命令是用來設(shè)置可執(zhí)行程序的硬CPU親和性，第二個命令是用來設(shè)置已經(jīng)運行的進程的硬CPU親和性。
寫在最后
最近在項目中，筆者碰到了系統(tǒng)CPU使用率不穩(wěn)定的情況，分析了良久，才排查到是CPU親和性相關(guān)的問題。在壓力穩(wěn)定，運算正常無外部瓶頸的情況下，形成一種無法解釋的CPU劇烈波動。如下圖所示：
如果后續(xù)碰到類似的問題，可以參考從調(diào)整CPU親和性方面考慮，按圖索驥，嘗試調(diào)整該參數(shù)，看是否有奇效。
特別推薦一個分享架構(gòu)+算法的優(yōu)質(zhì)內(nèi)容，還沒關(guān)注的小伙伴，可以長按關(guān)注一下：
長按訂閱更多精彩▼
如有收獲，點個在看，誠摯感謝
免責(zé)聲明：本文內(nèi)容由21ic獲得授權(quán)后發(fā)布，版權(quán)歸原作者所有，本平臺僅提供信息存儲服務(wù)。文章僅代表作者個人觀點，不代表本平臺立場，如有問題，請聯(lián)系我們，謝謝！
下載文檔
