本文作者：德州儀器 馮華亮

1. DMA 訪問存儲(chǔ)器的性能

EDMA3 架構(gòu)支持很多功能，可以實(shí)現(xiàn)高效的并行數(shù)據(jù)傳輸。本節(jié)討論影響它性能的很多因素，如存儲(chǔ)器類型，地址偏移等。

1.1 DMA 傳輸?shù)念~外開銷

一般的傳輸時(shí)延被定義為EDMA 被觸發(fā)到真正的數(shù)據(jù)傳輸開始的時(shí)間。由于數(shù)據(jù)傳輸開始的時(shí)間無法用簡單的方法測量，所以我們用最小數(shù)據(jù)單元的傳輸完成時(shí)間來代表DMA 傳輸?shù)臅r(shí)延或額外開銷。根據(jù)不同源/目的地址的組合，這個(gè)值會(huì)有所不同。表4 列出了在1GHz C6678 EVM (64-bit 1333MTS DDR)上測得的從EDMA 觸發(fā)(寫ESR)最小數(shù)據(jù)傳輸(1 word)到EDMA 傳輸結(jié)束(讀到IPR=1) 的平均的時(shí)鐘周期數(shù)。

表4 EDMA CC0 傳輸?shù)念~外開銷

表5 EDMA CC1 和EDMA CC2 傳輸?shù)念~外開銷

由于EDMA CC0 連接到離SL2 和DDR 比較近的內(nèi)部總線交換網(wǎng)絡(luò)，因此它訪問SL2 和DDR 額外開銷比較小。而EDMA CC1 和CC2 連接到離DSP 核的L1 和LL2 比較近的內(nèi)部總線交換網(wǎng)絡(luò)，所以它們訪問L1 和LL2 的額外開銷比較小。

IDMA 一般用來在LL2 內(nèi)部拷貝數(shù)據(jù)，測試得到的IDMA 的平均額外開銷是61 個(gè)時(shí)鐘周期。

傳輸?shù)念~外開銷是小數(shù)據(jù)量傳輸要考慮的重要因素。單個(gè)數(shù)據(jù)單元的傳輸時(shí)間完全由DMA 的額外開銷決定。所以，對于小數(shù)據(jù)量的拷貝，我們需要在用DMA 和用DSP 核之間做權(quán)衡選擇。

1.2 EDMA 10 個(gè)傳輸引擎的區(qū)別

C6678 上包含10 個(gè)EDMA3 TC (Transfer Controller)。這10 個(gè)傳輸引擎并不完全相同。Table 6 總結(jié)了它們之間的區(qū)別。

表6 EDMA 傳輸引擎之間的區(qū)別

表7 比較了在1GHz C6678 EVM(64-bit 1333MTS DDR)上測得的各個(gè)EDMA TC 的最大吞吐量。測試的參數(shù)是ACNT=1024，BCNT=128，AB_Sync(一次傳完ACNTxBCNT)。

表7 1GHz C6678 上EDMA TC 吞吐量比較

對SL2 和DDR 之間的傳輸，TC0_0 和TC0_1 能達(dá)到的吞吐量是其它TC 的兩倍。在本文其它部分，如果沒有特殊說明，EDMA 性能數(shù)據(jù)都是在TC0_0 上測得的。

1.3 EDMA 帶寬和傳輸靈活性的權(quán)衡

EDMA3 支持很多靈活的傳輸參數(shù)配置。多數(shù)配置情況下EDMA 可以充分利用存儲(chǔ)器帶寬;但在某些情況下，傳輸性能可能會(huì)有所下降。為了設(shè)計(jì)高效的系統(tǒng)，我們需要理解什么樣的配置能夠?qū)崿F(xiàn)高效的傳輸，而某些情況下必須在靈活性和效率之間做權(quán)衡。

1.3.1 第一維大小 (ACNT)的考慮(突發(fā)數(shù)據(jù)塊大小)

為了充分利用傳輸引擎的帶寬，傳輸盡量大的數(shù)據(jù)塊是非常重要的。

為了充分利用128-bit 或256-bit 的總線，ACNT 應(yīng)該是16 bytes 的整數(shù)倍;為了充分利用EDMA的突發(fā)數(shù)據(jù)塊，ACNT 需要是64 bytes 的整數(shù)倍;為了充分利用EDMA FIFO，ACNT 應(yīng)該至少是512 bytes。

圖7 畫出了在1GHz C6678 EVM(64-bit 1333MTS DDR)上，從SL2 到DDR 傳輸1~24K bytes 數(shù)據(jù)時(shí)測得的吞吐量。

圖7 ACNT 對EDMA 效率的影響

從測試結(jié)果可以看出，ACNT 越大，帶寬的利用率越高。

1.3.2 二維傳輸?shù)目紤](傳輸優(yōu)化)

如果2D 傳輸 (AB_Sync)是線性的 (BIDX=ACNT)，并且ACNT 是2 的冪次方，EDMA 會(huì)把這個(gè)2D 傳輸優(yōu)化為1D 傳輸。我們在1GHz C6678 EVM(64-bit 1333MTS DDR)上測試了不同的ACNT 和BCNT 的組合;圖 8是線性2D 傳輸?shù)臏y試結(jié)果，它說明，不管BCNT 是多少，帶寬由ACNTxBCNT的乘積決定。

圖8 線性 2D 傳輸

如果2D 傳輸不是線性的，帶寬的利用率完全有ACNT 決定(參見圖 7)。

1.3.3 地址偏移的考慮

地址偏移會(huì)顯著地影響EDMA 的吞吐量。

圖 9說明了地址偏移對EDMA 吞吐量的影響，它是在1GHz C6678 EVM(64-bit 1333MTS DDR)上從 SL2 到 DDR 傳輸1024 行(BCNT= 1024) 2D 數(shù)據(jù)時(shí)測得的。

圖9 偏移量對EDMA 帶寬的影響

從測試結(jié)果可以看出，線性傳輸 (Index= ACNT)能充分利用帶寬;其它Index 設(shè)置會(huì)降低EDMA性能。最壞的情況是地址偏移為奇數(shù)時(shí)。如果地址偏移大于8 并且是2 的冪次方，性能的下降則比較小。

請注意，Index= ACNT，并且ACNT 是2 的冪次方時(shí)，2D 傳輸被優(yōu)化為1D 傳輸，因此性能比其它情況好很多。

除非特殊說明，本文列出的所有性能數(shù)據(jù)都是在Index= ACNT 的情況下測得的。

1.3.4 地址對齊

地址對齊對EDMA 效率稍有影響。EDMA3 缺省突發(fā)數(shù)據(jù)塊大小是64 bytes 或128 bytes，如果傳輸跨越64 或128 bytes 邊界，EDMA3 TC 會(huì)把大小為ACNT 數(shù)據(jù)塊分割成64 或128 bytes 的突發(fā)數(shù)據(jù)塊。這對1～256 bytes 的數(shù)據(jù)傳輸影響會(huì)比較明顯，而對更大塊數(shù)據(jù)的傳輸?shù)挠绊憚t不明顯。

除非特殊說明，本文所有性能數(shù)據(jù)都是在地址對齊的情況下測得的。

2. 多個(gè)主模塊共享存儲(chǔ)器的性能

由于C6678 有8 個(gè)核和很多DMA 主模塊，它們可能會(huì)同時(shí)訪問存儲(chǔ)器。本節(jié)討論多個(gè)主模塊共享存儲(chǔ)器的性能。[!--empirenews.page--]

2.1 多個(gè)主模塊共享SL2 的性能

圖10 列出了數(shù)據(jù)在SL2 中的組織結(jié)構(gòu)。

圖10 SL2 bank 組織結(jié)構(gòu)

所有主模塊都可以通過MSMC (Multicore Shared Memory Controller)獨(dú)立地訪問4 個(gè)SL2 bank中的任一個(gè)。多個(gè)主模塊可以并行地訪問不同的bank;如果多個(gè)主模塊要同時(shí)訪問相同的bank，那就需要根據(jù)優(yōu)先級仲裁。

表8 列出了在1GHz C6678 上測得的多個(gè)主模塊同時(shí)訪問SL2 的性能數(shù)據(jù)。每個(gè)主模塊反復(fù)訪問自己在SL2 中的數(shù)據(jù)buffer，在相同的時(shí)間內(nèi)(大概2 秒)，每個(gè)主模塊傳輸?shù)臄?shù)據(jù)量被統(tǒng)計(jì);而每個(gè)主模塊獲得的帶寬則由數(shù)據(jù)量除以時(shí)間計(jì)算出來。

在這個(gè)測試中，每個(gè)核的L1D cache 大小是32KB，沒有使用L2 cached，prefetch buffer 被使能。

在下面的表中，每列是一個(gè)測試場景的結(jié)果，不同測試場景的主要區(qū)別是同時(shí)訪問存儲(chǔ)器的主模塊的個(gè)數(shù)，格子中的數(shù)據(jù)代表相應(yīng)的主模塊在這個(gè)測試場景下獲得的帶寬，一列中的空格代表對應(yīng)的主模塊在這個(gè)測試場景下未被使用。最后一行中的數(shù)據(jù)是在這個(gè)測試場景下所有主模塊獲得的帶寬的總和。

表8 多個(gè)DSP 核共享SL2 的性能

以上測試結(jié)果證明SL2 不會(huì)成為多個(gè)DSP 核同時(shí)訪問的瓶頸。SL2 有足夠的帶寬 (500M x 32 x 4 = 64000MB/s)來支持所有DSP核的同時(shí)訪問。每個(gè)DSP 核的吞吐量受限于它自己。

由于SL2 的帶寬足夠支持所有核同時(shí)訪問，所以核的優(yōu)先級在這種情況下基本不起作用。

表9 多個(gè)EDMA 共享SL2 的性能

由于總共有10 個(gè)EDMA TC，而只有8 個(gè)DSP 核，在這些測試?yán)铮? 個(gè)TC 在SL2 和8 個(gè)核的LL2 之間傳輸數(shù)據(jù)，另兩個(gè)TC 則在SL2 和DDR 之間傳輸數(shù)據(jù)。

盡管SL2 本身的帶寬非常高，但所有EDMA 訪問SL2 時(shí)都需要經(jīng)過內(nèi)部總線交換網(wǎng)絡(luò)的一個(gè)相同的端口，這個(gè)端口就成了這種情況下的瓶頸。這個(gè)端口的理論帶寬是500MHz x 32 bytes = 16000MB/s。如果所有EDMA 傳輸?shù)膬?yōu)先級相同，帶寬會(huì)在這些傳輸之間平均分配。而當(dāng)優(yōu)先級不同時(shí)(上表中第二列是每個(gè)主模塊的優(yōu)先級)，優(yōu)先級低的EDMA 傳輸?shù)玫降膸挶容^小。對負(fù)載很高的情況下，一些低優(yōu)先級的傳輸可能會(huì)被“餓死”，也就是說，得到的帶寬為0。

根據(jù)Table 6中列出的不同EDMA TC 的區(qū)別，EDMACC1 TC1 和TC3，EDMACC2 TC1 和TC2在某些情況下獲得的帶寬會(huì)比其它TC 小，即使優(yōu)先級相同。

2.2 多個(gè)主模塊共享DDR 的性能

多個(gè)主模塊同時(shí)訪問DDR 時(shí)，DDR 控制器會(huì)根據(jù)主模塊的優(yōu)先級進(jìn)行仲裁。

C6678 的DDR 控制器支持包含1，2，4，或8 個(gè)banks 的DDR 存儲(chǔ)器?，F(xiàn)在大多數(shù)DDR3 存儲(chǔ)器都包含8 個(gè)bank，以C6678 EVM 上的DDR 存儲(chǔ)器為例，它的組織結(jié)構(gòu)如圖11 所示。請注意，對不同的DDR 存儲(chǔ)器，每一行的大小可能會(huì)不同。

圖11 DDR bank 數(shù)據(jù)組織結(jié)構(gòu)

盡管DDR 存儲(chǔ)器有多個(gè)bank，但與SL2 的bank 不同的是，它們并沒有獨(dú)立的總線與控制器相連，而是共享相同的總線接口。所以，DDR 存儲(chǔ)器bank 的個(gè)數(shù)并不直接的影響帶寬，但它卻顯著的影響多個(gè)主模塊共享DDR 的效率。

DDR SDRAM 的訪問以行或頁為基礎(chǔ)。一個(gè)主模塊在訪問某個(gè)頁中的數(shù)據(jù)之前，這一頁必須首先被“打開”，然后這一頁中的內(nèi)容才可以被隨意訪問。如果主模塊想訪問同一個(gè)bank 中另一頁中的數(shù)據(jù)，必須先關(guān)閉原先的頁，然后打開新的一頁。而頁切換(關(guān)閉/打開)操作需要消耗額外的時(shí)鐘周期。

每個(gè)bank 只可以有一頁被打開，DDR 存儲(chǔ)器的bank 數(shù)越多，頁切換的概率就越小。例如，一個(gè)主模塊在訪問了bank0 的0 頁后，它可以訪問bank1 的1 頁而不用關(guān)閉之前訪問的bank0 的0頁，然后這個(gè)主模塊可以自由的在這兩頁之間訪問而不會(huì)產(chǎn)生頁切換。包含8 個(gè)bank 的DDR 存儲(chǔ)器可以有8 頁同時(shí)被打開。

為了測試頁切換的影響，我們定義了兩種測試的數(shù)據(jù)結(jié)構(gòu)。

圖12 多個(gè)主模塊訪問相同DDR bank 的不同頁

上面的情況是最壞的情況，頁切換的額外開銷被最大化。每換一個(gè)主模塊訪問就會(huì)導(dǎo)致一次頁切換。

下面的情況則是最佳情況，每個(gè)主模塊始終訪問打開的頁，而不會(huì)有任何頁切換發(fā)生。

圖13 多個(gè)主模塊訪問不同DDR bank 的不同頁

2.2.1 多個(gè)DSP 核共享DDR 的性能

下面的表格列出了不同場景下多個(gè)DSP 核共享1GHz C6678 EVM 上64-bit 1333MTS DDR 的性能。每個(gè)主模塊反復(fù)訪問自己在DDR 中的數(shù)據(jù)buffer，在相同的時(shí)間內(nèi)(大概2 秒)，每個(gè)主模塊傳輸?shù)臄?shù)據(jù)量被統(tǒng)計(jì);而每個(gè)主模塊獲得的帶寬則由數(shù)據(jù)量除以時(shí)間計(jì)算出來。

在這些測試中，DDR 是cacheable 且prefetchable的，L1D cache 是32KB，L2 cache 是256KB，prefetch buffer 被使能。我們沒有測試Non-cacheable 的情況是因?yàn)镹on-cacheable 情況下每個(gè)核需要的帶寬比cacheable 的情況下要少很多。[!--empirenews.page--]

在下面的表中，每列是一個(gè)測試場景的結(jié)果，不同測試場景的主要區(qū)別是同時(shí)訪問存儲(chǔ)器的主模塊的個(gè)數(shù)，格子中的數(shù)據(jù)代表相應(yīng)的主模塊在這個(gè)測試場景下獲得的帶寬，一列中的空格代表對應(yīng)的主模塊在這個(gè)測試場景下未被使用。最后一行中的數(shù)據(jù)是在這個(gè)測試場景下所有主模塊獲得的帶寬的總和。

表10 多個(gè)DSP 核共享DDR 的性能

從上面的測試結(jié)果可以看出，多核同時(shí)訪問相同DDR bank 中不同頁的性能比多核同時(shí)訪問不同DDR bank 中不同頁的性能差很多，原因就是頁切換的額外開銷。

從上面的測試結(jié)果還可以看出，DDR 的帶寬 (1333 x 8 = 10666MB/s)對所有DSP 核同時(shí)訪問來說是不夠的，DSP 核的優(yōu)先級對它獲得的帶寬有明顯影響。當(dāng)優(yōu)先級相同時(shí)，帶寬在多個(gè)核之間平均分配;而當(dāng)優(yōu)先級不同時(shí)(上表中第二列是每個(gè)主模塊的優(yōu)先級)，優(yōu)先級低的核得到的帶寬比較小。

為了防止低優(yōu)先級的主模塊被“餓死”，DDR 控制器提供了老請求優(yōu)先級臨時(shí)提高的功能。我們可以通過配置一個(gè)計(jì)數(shù)器，當(dāng)一個(gè)老的請求的等待時(shí)間超過這個(gè)計(jì)數(shù)值時(shí)，它的優(yōu)先級會(huì)被臨時(shí)提高。如果沒有特殊說明，本文所有測試中這個(gè)計(jì)數(shù)周期都被配置成4x16=64 個(gè)DDR3CLKOUT 時(shí)鐘周期。在64 個(gè)DDR3CLKOUT 時(shí)鐘周期內(nèi)，可以傳輸64x2x8=1024 bytes。

表11 是在1GHz C6678 EVM(64-bit 1333MTS DDR)上用不同的優(yōu)先級提升計(jì)數(shù)值測得的數(shù)據(jù)。表中第二列是每個(gè)主模塊的預(yù)設(shè)優(yōu)先級。

表11 DDR 優(yōu)先級提升計(jì)數(shù)值的影響

從上面的測試結(jié)果可以看出，優(yōu)先級提升計(jì)數(shù)值=0 實(shí)際上使得預(yù)設(shè)的優(yōu)先級不起作用。當(dāng)這個(gè)計(jì)數(shù)值越大是，預(yù)設(shè)的優(yōu)先級起的作用越大。所以，在實(shí)際應(yīng)用中，設(shè)計(jì)者需要根據(jù)應(yīng)用的需求來選擇一個(gè)合適的值。

2.2.2 多個(gè)EDMA 共享DDR 的性能

下面的表格列出了不同場景下多個(gè)EDMA TC 共享1GHz C6678 EVM 上64-bit 1333MTS DDR 的性能。

表12 多個(gè)EDMA 共享DDR 的性能

由于總共有10 個(gè)EDMA TC，而只有8 個(gè)DSP 核，在這些測試?yán)铮? 個(gè)TC 在DDR 和8 個(gè)核的LL2 之間傳輸數(shù)據(jù)，另兩個(gè)TC 則在DDR 和SL2 之間傳輸數(shù)據(jù)。

從上面的測試結(jié)果可以看出，DDR 的帶寬 (1333 x 8 = 10666MB/s)對所有EDMA 同時(shí)訪問來說是不夠的，EDMA TC 的優(yōu)先級對它獲得的帶寬有明顯影響。優(yōu)先級低的EDMA 傳輸?shù)玫降膸挶容^小。對負(fù)載很高的情況下，一些低優(yōu)先級的傳輸可能會(huì)被“餓死”，也就是說，得到的帶寬為0。

根據(jù)Table 6中列出的不同EDMA TC 的區(qū)別，EDMACC1 TC1 和TC3，EDMACC2 TC1 和TC2在某些情況下獲得的帶寬會(huì)比其它TC 小，即使優(yōu)先級相同。

從上面的測試結(jié)果還可以看出，多個(gè)DMA 同時(shí)訪問相同DDR bank 中不同頁的性能比多個(gè)DMA同時(shí)訪問不同DDR bank 中不同頁的性能差很多，原因就是頁切換的額外開銷。當(dāng)DDR 負(fù)載加重時(shí)結(jié)果變得更差。最壞的情況下，頁切換的額外開銷會(huì)占用整體傳輸時(shí)間的絕大部分，從而使總吞吐量急劇下降。

頁切換的概率，也就是，多個(gè)主模塊訪問相同DDR bank 的概率取決于同時(shí)訪問的主模塊的個(gè)數(shù)和DDR bank 個(gè)數(shù)。例如，4 個(gè)DMA 隨機(jī)訪問8 個(gè)bank 的DDR 存儲(chǔ)器，至少兩個(gè)TC 訪問相同的bank 的概率是:

表13 列出了理論上，多個(gè)主模塊訪問相同bank 的概率：

表13 多個(gè)主模塊訪問相同bank 的概率

為了減少DDR 頁切換次數(shù)，如果有多個(gè)傳輸，有的要訪問已經(jīng)打開的頁，有的要訪問沒有打開的頁，C6678 的DDR 控制器一般情況下會(huì)讓對已經(jīng)打開的頁的訪問先執(zhí)行。

3. 總結(jié)

總的來說，DSP 核可以高效地訪問內(nèi)部存儲(chǔ)器，而用DSP 核訪問外部數(shù)據(jù)則不是有效利用資源的方式;IDMA 非常適用于DSP 核本地存儲(chǔ)器(L1D，L1P，LL2)內(nèi)連續(xù)數(shù)據(jù)塊的傳輸，但它不能訪問共享存儲(chǔ)器(SL2, DDR);而外部存儲(chǔ)器的訪問則應(yīng)盡量使用EDMA。為了充分利用cache，DSP 核應(yīng)盡量連續(xù)訪問。

EDMA 的ACNT 越大，效率越高。

SL2 有足夠的帶寬來支持所有核的同時(shí)訪問。DDR 的帶寬對所有核同時(shí)訪問來說是不夠的，DSP核的優(yōu)先級對它獲得的帶寬有明顯影響。

DDR 性能受頁切換的影響很大，為了減少DDR 頁切換應(yīng)該盡量每次訪問大塊數(shù)據(jù)。[!--empirenews.page--]

參考文獻(xiàn)

TMS320C66x DSP CorePac User Guide (SPRUGW0)

KeyStone Architecture Multicore Shared Memory Controller (MSMC) User Guide (SPRUGW7)

KeyStone Architecture DDR3 Memory Controller User Guide (SPRUGV8)

KeyStone Architecture Enhanced Direct Memory Access (EDMA3) Controller User Guide (SPRUGS5)

TMS320TCI6608 data manual (SPRS623)