前言

磁盤可以說是計算機(jī)系統(tǒng)最慢的硬件之一，讀寫速度相差內(nèi)存 10 倍以上，所以針對優(yōu)化磁盤的技術(shù)非常的多，比如零拷貝、直接 I/O、異步 I/O 等等，這些優(yōu)化的目的就是為了提高系統(tǒng)的吞吐量，另外操作系統(tǒng)內(nèi)核中的磁盤高速緩存區(qū)，可以有效的減少磁盤的訪問次數(shù)。

這次，我們就以「文件傳輸」作為切入點(diǎn)，來分析 I/O 工作方式，以及如何優(yōu)化傳輸文件的性能。

正文

為什么要有 DMA 技術(shù)?

在沒有 DMA 技術(shù)前，I/O 的過程是這樣的：

• CPU 發(fā)出對應(yīng)的指令給磁盤控制器，然后返回；

• 磁盤控制器收到指令后，于是就開始準(zhǔn)備數(shù)據(jù)，會把數(shù)據(jù)放入到磁盤控制器的內(nèi)部緩沖區(qū)中，然后產(chǎn)生一個中斷；

• CPU 收到中斷信號后，停下手頭的工作，接著把磁盤控制器的緩沖區(qū)的數(shù)據(jù)一次一個字節(jié)地讀進(jìn)自己的寄存器，然后再把寄存器里的數(shù)據(jù)寫入到內(nèi)存，而在數(shù)據(jù)傳輸?shù)钠陂g CPU 是無法執(zhí)行其他任務(wù)的。

為了方便你理解，我畫了一副圖：

可以看到，整個數(shù)據(jù)的傳輸過程，都要需要 CPU 親自參與搬運(yùn)數(shù)據(jù)的過程，而且這個過程，CPU 是不能做其他事情的。

簡單的搬運(yùn)幾個字符數(shù)據(jù)那沒問題，但是如果我們用千兆網(wǎng)卡或者硬盤傳輸大量數(shù)據(jù)的時候，都用 CPU 來搬運(yùn)的話，肯定忙不過來。

計算機(jī)科學(xué)家們發(fā)現(xiàn)了事情的嚴(yán)重性后，于是就發(fā)明了 DMA 技術(shù)，也就是直接內(nèi)存訪問（Direct Memory Access）?技術(shù)。

什么是 DMA 技術(shù)？簡單理解就是，在進(jìn)行 I/O 設(shè)備和內(nèi)存的數(shù)據(jù)傳輸?shù)臅r候，數(shù)據(jù)搬運(yùn)的工作全部交給 DMA 控制器，而 CPU 不再參與任何與數(shù)據(jù)搬運(yùn)相關(guān)的事情，這樣 CPU 就可以去處理別的事務(wù)。

那使用 DMA 控制器進(jìn)行數(shù)據(jù)傳輸?shù)倪^程究竟是什么樣的呢？下面我們來具體看看。

具體過程：

• 用戶進(jìn)程調(diào)用 read 方法，向操作系統(tǒng)發(fā)出 I/O 請求，請求讀取數(shù)據(jù)到自己的內(nèi)存緩沖區(qū)中，進(jìn)程進(jìn)入阻塞狀態(tài)；

• 操作系統(tǒng)收到請求后，進(jìn)一步將 I/O 請求發(fā)送 DMA，然后讓 CPU 執(zhí)行其他任務(wù)；

• DMA 進(jìn)一步將 I/O 請求發(fā)送給磁盤；

• 磁盤收到 DMA 的 I/O 請求，把數(shù)據(jù)從磁盤讀取到磁盤控制器的緩沖區(qū)中，當(dāng)磁盤控制器的緩沖區(qū)被讀滿后，向 DMA 發(fā)起中斷信號，告知自己緩沖區(qū)已滿；

• DMA 收到磁盤的信號，將磁盤控制器緩沖區(qū)中的數(shù)據(jù)拷貝到內(nèi)核緩沖區(qū)中，此時不占用 CPU，CPU 可以執(zhí)行其他任務(wù)；

• 當(dāng) DMA 讀取了足夠多的數(shù)據(jù)，就會發(fā)送中斷信號給 CPU；

• CPU 收到 DMA 的信號，知道數(shù)據(jù)已經(jīng)準(zhǔn)備好，于是將數(shù)據(jù)從內(nèi)核拷貝到用戶空間，系統(tǒng)調(diào)用返回；

可以看到， 整個數(shù)據(jù)傳輸?shù)倪^程，CPU 不再參與數(shù)據(jù)搬運(yùn)的工作，而是全程由 DMA 完成，但是 CPU 在這個過程中也是必不可少的，因?yàn)閭鬏斒裁磾?shù)據(jù)，從哪里傳輸?shù)侥睦?，都需?CPU 來告訴 DMA 控制器。

早期 DMA 只存在在主板上，如今由于 I/O 設(shè)備越來越多，數(shù)據(jù)傳輸?shù)男枨笠膊槐M相同，所以每個 I/O 設(shè)備里面都有自己的 DMA 控制器。

傳統(tǒng)的文件傳輸有多糟糕？

如果服務(wù)端要提供文件傳輸?shù)墓δ埽覀兡芟氲降淖詈唵蔚姆绞绞牵簩⒋疟P上的文件讀取出來，然后通過網(wǎng)絡(luò)協(xié)議發(fā)送給客戶端。

傳統(tǒng) I/O 的工作方式是，數(shù)據(jù)讀取和寫入是從用戶空間到內(nèi)核空間來回復(fù)制，而內(nèi)核空間的數(shù)據(jù)是通過操作系統(tǒng)層面的 I/O 接口從磁盤讀取或?qū)懭搿?/p>

代碼通常如下，一般會需要兩個系統(tǒng)調(diào)用：

read(file,?tmp_buf,?len);
write(socket,?tmp_buf,?len);

代碼很簡單，雖然就兩行代碼，但是這里面發(fā)生了不少的事情。

首先，期間共發(fā)生了 4 次用戶態(tài)與內(nèi)核態(tài)的上下文切換，因?yàn)榘l(fā)生了兩次系統(tǒng)調(diào)用，一次是?read()?，一次是?write()，每次系統(tǒng)調(diào)用都得先從用戶態(tài)切換到內(nèi)核態(tài)，等內(nèi)核完成任務(wù)后，再從內(nèi)核態(tài)切換回用戶態(tài)。

上下文切換到成本并不小，一次切換需要耗時幾十納秒到幾微秒，雖然時間看上去很短，但是在高并發(fā)的場景下，這類時間容易被累積和放大，從而影響系統(tǒng)的性能。

其次，還發(fā)生了 4 次數(shù)據(jù)拷貝，其中兩次是 DMA 的拷貝，另外兩次則是通過 CPU 拷貝的，下面說一下這個過程：

• 第一次拷貝，把磁盤上的數(shù)據(jù)拷貝到操作系統(tǒng)內(nèi)核的緩沖區(qū)里，這個拷貝的過程是通過 DMA 搬運(yùn)的。

• 第二次拷貝，把內(nèi)核緩沖區(qū)的數(shù)據(jù)拷貝到用戶的緩沖區(qū)里，于是我們應(yīng)用程序就可以使用這部分?jǐn)?shù)據(jù)了，這個拷貝到過程是由 CPU 完成的。

• 第三次拷貝，把剛才拷貝到用戶的緩沖區(qū)里的數(shù)據(jù)，再拷貝到內(nèi)核的 socket 的緩沖區(qū)里，這個過程依然還是由 CPU 搬運(yùn)的。

• 第四次拷貝，把內(nèi)核的 socket 緩沖區(qū)里的數(shù)據(jù)，拷貝到網(wǎng)卡的緩沖區(qū)里，這個過程又是由 DMA 搬運(yùn)的。

我們回過頭看這個文件傳輸?shù)倪^程，我們只是搬運(yùn)一份數(shù)據(jù)，結(jié)果卻搬運(yùn)了 4 次，過多的數(shù)據(jù)拷貝無疑會消耗 CPU 資源，大大降低了系統(tǒng)性能。

這種簡單又傳統(tǒng)的文件傳輸方式，存在冗余的上文切換和數(shù)據(jù)拷貝，在高并發(fā)系統(tǒng)里是非常糟糕的，多了很多不必要的開銷，會嚴(yán)重影響系統(tǒng)性能。

所以，要想提高文件傳輸?shù)男阅?，就需要減少「用戶態(tài)與內(nèi)核態(tài)的上下文切換」和「內(nèi)存拷貝」的次數(shù)。

如何優(yōu)化文件傳輸?shù)男阅埽?/span>

先來看看，如何減少「用戶態(tài)與內(nèi)核態(tài)的上下文切換」的次數(shù)呢？

讀取磁盤數(shù)據(jù)的時候，之所以要發(fā)生上下文切換，這是因?yàn)橛脩艨臻g沒有權(quán)限操作磁盤或網(wǎng)卡，內(nèi)核的權(quán)限最高，這些操作設(shè)備的過程都需要交由操作系統(tǒng)內(nèi)核來完成，所以一般要通過內(nèi)核去完成某些任務(wù)的時候，就需要使用操作系統(tǒng)提供的系統(tǒng)調(diào)用函數(shù)。

而一次系統(tǒng)調(diào)用必然會發(fā)生 2 次上下文切換：首先從用戶態(tài)切換到內(nèi)核態(tài)，當(dāng)內(nèi)核執(zhí)行完任務(wù)后，再切換回用戶態(tài)交由進(jìn)程代碼執(zhí)行。

所以，要想減少上下文切換到次數(shù)，就要減少系統(tǒng)調(diào)用的次數(shù)。

再來看看，如何減少「數(shù)據(jù)拷貝」的次數(shù)？

在前面我們知道了，傳統(tǒng)的文件傳輸方式會歷經(jīng) 4 次數(shù)據(jù)拷貝，而且這里面，「從內(nèi)核的讀緩沖區(qū)拷貝到用戶的緩沖區(qū)里，再從用戶的緩沖區(qū)里拷貝到 socket 的緩沖區(qū)里」，這個過程是沒有必要的。

因?yàn)槲募鬏數(shù)膽?yīng)用場景中，在用戶空間我們并不會對數(shù)據(jù)「再加工」，所以數(shù)據(jù)實(shí)際上可以不用搬運(yùn)到用戶空間，因此用戶的緩沖區(qū)是沒有必要存在的。

如何實(shí)現(xiàn)零拷貝？

零拷貝技術(shù)實(shí)現(xiàn)的方式通常有 2 種：

• mmap + write

• sendfile

下面就談一談，它們是如何減少「上下文切換」和「數(shù)據(jù)拷貝」的次數(shù)。

mmap + write

在前面我們知道，read()?系統(tǒng)調(diào)用的過程中會把內(nèi)核緩沖區(qū)的數(shù)據(jù)拷貝到用戶的緩沖區(qū)里，于是為了減少這一步開銷，我們可以用?mmap()?替換?read()?系統(tǒng)調(diào)用函數(shù)。

buf?=?mmap(file,?len);
write(sockfd,?buf,?len);

mmap()?系統(tǒng)調(diào)用函數(shù)會直接把內(nèi)核緩沖區(qū)里的數(shù)據(jù)「映射」到用戶空間，這樣，操作系統(tǒng)內(nèi)核與用戶空間就不需要再進(jìn)行任何的數(shù)據(jù)拷貝操作。

具體過程如下：

• 應(yīng)用進(jìn)程調(diào)用了?mmap()?后，DMA 會把磁盤的數(shù)據(jù)拷貝到內(nèi)核的緩沖區(qū)里。接著，應(yīng)用進(jìn)程跟操作系統(tǒng)內(nèi)核「共享」這個緩沖區(qū)；

• 應(yīng)用進(jìn)程再調(diào)用?write()，操作系統(tǒng)直接將內(nèi)核緩沖區(qū)的數(shù)據(jù)拷貝到 socket 緩沖區(qū)中，這一切都發(fā)生在內(nèi)核態(tài)，由 CPU 來搬運(yùn)數(shù)據(jù)；

• 最后，把內(nèi)核的 socket 緩沖區(qū)里的數(shù)據(jù)，拷貝到網(wǎng)卡的緩沖區(qū)里，這個過程是由 DMA 搬運(yùn)的。

我們可以得知，通過使用?mmap()?來代替?read()， 可以減少一次數(shù)據(jù)拷貝的過程。

但這還不是最理想的零拷貝，因?yàn)槿匀恍枰ㄟ^ CPU 把內(nèi)核緩沖區(qū)的數(shù)據(jù)拷貝到 socket 緩沖區(qū)里，而且仍然需要 4 次上下文切換，因?yàn)橄到y(tǒng)調(diào)用還是 2 次。

sendfile

在 Linux 內(nèi)核版本 2.1 中，提供了一個專門發(fā)送文件的系統(tǒng)調(diào)用函數(shù)?sendfile()，函數(shù)形式如下：

#include?
ssize_t?sendfile(int?out_fd,?int?in_fd,?off_t?*offset,?size_t?count);

它的前兩個參數(shù)分別是目的端和源端的文件描述符，后面兩個參數(shù)是源端的偏移量和復(fù)制數(shù)據(jù)的長度，返回值是實(shí)際復(fù)制數(shù)據(jù)的長度。

首先，它可以替代前面的?read()?和?write()?這兩個系統(tǒng)調(diào)用，這樣就可以減少一次系統(tǒng)調(diào)用，也就減少了 2 次上下文切換的開銷。

其次，該系統(tǒng)調(diào)用，可以直接把內(nèi)核緩沖區(qū)里的數(shù)據(jù)拷貝到 socket 緩沖區(qū)里，不再拷貝到用戶態(tài)，這樣就只有 2 次上下文切換，和 3 次數(shù)據(jù)拷貝。如下圖：

但是這還不是真正的零拷貝技術(shù)，如果網(wǎng)卡支持 SG-DMA（The Scatter-Gather Direct Memory Access）技術(shù)（和普通的 DMA 有所不同），我們可以進(jìn)一步減少通過 CPU 把內(nèi)核緩沖區(qū)里的數(shù)據(jù)拷貝到 socket 緩沖區(qū)的過程。

你可以在你的 Linux 系統(tǒng)通過下面這個命令，查看網(wǎng)卡是否支持 scatter-gather 特性：

$?ethtool?-k?eth0?|?grep?scatter-gather
scatter-gather:?on

于是，從 Linux 內(nèi)核?2.4?版本開始起，對于支持網(wǎng)卡支持 SG-DMA 技術(shù)的情況下，?sendfile()?系統(tǒng)調(diào)用的過程發(fā)生了點(diǎn)變化，具體過程如下：

• 第一步，通過 DMA 將磁盤上的數(shù)據(jù)拷貝到內(nèi)核緩沖區(qū)里；

• 第二步，緩沖區(qū)描述符和數(shù)據(jù)長度傳到 socket 緩沖區(qū)，這樣網(wǎng)卡的 SG-DMA 控制器就可以直接將內(nèi)核緩存中的數(shù)據(jù)拷貝到網(wǎng)卡的緩沖區(qū)里，此過程不需要將數(shù)據(jù)從操作系統(tǒng)內(nèi)核緩沖區(qū)拷貝到 socket 緩沖區(qū)中，這樣就減少了一次數(shù)據(jù)拷貝；

所以，這個過程之中，只進(jìn)行了 2 次數(shù)據(jù)拷貝，如下圖：

這就是所謂的零拷貝（Zero-copy）技術(shù)，因?yàn)槲覀儧]有在內(nèi)存層面去拷貝數(shù)據(jù)，也就是說全程沒有通過 CPU 來搬運(yùn)數(shù)據(jù)，所有的數(shù)據(jù)都是通過 DMA 來進(jìn)行傳輸?shù)摹?/strong>

@Overridepublic?
long?transferFrom(FileChannel?fileChannel,?long?position,?long?count)?throws?IOException?{?
????return?fileChannel.transferTo(position,?count,?socketChannel);
}

http?{
...
????sendfile?on
...
}

location?/video/?{?
????sendfile?on;?
????aio?on;?
????directio?1024m;?
}