隨著寬帶Internet的快速發(fā)展和電子設(shè)備計算能力的迅速提高,在Internet上實時傳輸高清晰度視頻信息成為可能,以Internet為傳輸媒介的視頻會議、視頻監(jiān)控、Internet電視臺等視頻應(yīng)用方興未艾。這些應(yīng)用的一個共同特點是,都需要一個高性能的實時視頻編碼器,特別是高分辨率的視頻應(yīng)用給視頻編碼器的計算能力提出了很高的要求。例如,一幅720×576的4∶2∶2視頻格式的畫面,包含有3240個16×16的YUV宏塊(MacroBlock,即MB)。如果該視頻幀按照P幀或者B幀進行壓縮,那么每一個YUV宏塊都要進行運動估計、運動補償、DCT(Discrete Cosine Transform)/反DCT變換、量化/反量化和VLC(Variable Length Coding)等環(huán)節(jié)的運算。如果進行實時壓縮(每秒鐘壓縮25幀)的話,大致需要316～5GIPS(Instruction persecond)的計算能力。

目前,單一的CPU/DSP一般還不具備這樣的計算能力。為了解決高清晰畫面的實時視頻壓縮問題,本文提出了DSP和FPGA(Field Pro-grammable Gate Array)協(xié)同設(shè)計方案。使用FPGA完成視頻采集、YUV(視頻亮度Y、色度分量

UV)分離、數(shù)據(jù)I/O(Input/Output)等所有周邊功能,使用高性能的DSP進行視頻壓縮編碼,因而在視頻編碼器內(nèi)DSP和FPGA能夠進行流水操作,有效地提高了編碼器的性能。

為了降低算法的計算復(fù)雜度,本文提出了基于宏塊空間復(fù)雜度的宏塊編碼類型判別算法(MTJBSC)。在標(biāo)準(zhǔn)MPEG24視頻運動估計算法中,判別宏塊的編碼類型是通過計算當(dāng)前宏塊內(nèi)像素值方差和參考宏塊與當(dāng)前宏塊之間的方差來實現(xiàn)的,因此計算量很大。MTJBSC算法首先計算出當(dāng)前宏塊的空間負(fù)責(zé)度(MBC),然后通過比較當(dāng)前宏塊的MBC與SAD(Sum of Absolute Difference)值來判斷當(dāng)前宏塊的編碼類型,大大降低了算法的計算復(fù)雜度。

1 硬件設(shè)計方案

基于TI公司的圖像開發(fā)工具包(Imaging Developer Kit,即IDK)[2]架構(gòu),設(shè)計了視頻編碼器的硬件平臺。從整體上來講,視頻編碼器的硬件實現(xiàn)由DSP和FPGA兩個模塊組成,其邏輯框圖如圖1所示。由于視頻壓縮編碼計算量很大,為了盡可能提高視頻壓縮幀率,由DSP專門負(fù)責(zé)視頻壓縮編碼,而視頻采集、YUV轉(zhuǎn)換和編碼器I/O接口等其它功能則交由FPGA模塊來實現(xiàn)。

如圖1所示,用戶控制命令(例如視頻壓縮模式)由FPGA模塊首先截獲,然后FPGA模塊向DSP模塊產(chǎn)生外部中斷,DSP在響應(yīng)中斷時讀取存儲在FPGA中的用戶控制命令字,然后DSP解析命令字,并根據(jù)用戶要求的視頻格式、幀圖像分辨率和視頻壓縮碼流速率進行視頻壓縮編碼。

模擬視頻信號經(jīng)視頻解碼器轉(zhuǎn)換為裸視頻數(shù)據(jù)流,該數(shù)據(jù)流(或從數(shù)字?jǐn)z像機直接獲得的數(shù)據(jù)流)經(jīng)FPGA預(yù)處理后送入幀存中。DSP讀取幀存中的數(shù)據(jù)進行壓縮編碼,壓縮后的視頻數(shù)據(jù)送入FIFO中,最后FIFO中的數(shù)據(jù)通過串口送給信道編碼器。

FPGA模塊的邏輯框圖見圖2。如圖2所示,視頻解碼器首先將模擬視頻信號量化為復(fù)合的YUV數(shù)據(jù),然后經(jīng)FPGA進行YUV分離(和濾波)后送到幀存(圖1中的SDRAM1)中,C6201使用DMA通道(異步方式)通過FPGA讀取幀存中的YUV數(shù)據(jù)進行壓縮編碼。幀存(SDRAM1)在刷新(refresh)或缺頁(pagemiss)時會引起DMA讀等待,為了平滑這種等待引起的DMA讀數(shù)據(jù)的抖動,設(shè)計時在FPGA的內(nèi)部實現(xiàn)了一個高速FIFO。視頻幀存采用了乒乓結(jié)構(gòu),將8M字節(jié)SDRAM分為兩個4M字節(jié)的地址空間(每一個地址空間可以容納一幀YUV視頻數(shù)據(jù)(720×576×115字節(jié))),一個地址空間用于存儲當(dāng)前正在采集的視頻數(shù)據(jù),另一個地址空間用于DSP的數(shù)據(jù)讀取。在壓縮CCIR601格式的視頻圖像(每秒25幀)時,由于DSP的處理速度(大約每秒10幀)慢于視頻采集的速度,所以FPGA模塊在采集完一幀數(shù)據(jù)進入等待狀態(tài),直到DSP壓縮完上一幀視頻數(shù)據(jù)時,這2個地址空間才進行互換。

DSP模塊接收FPGA模塊送過來的YUV視頻數(shù)據(jù),然后進行視頻壓縮編碼,最后將壓縮的碼流再轉(zhuǎn)交給FPGA模塊,由FPGA模數(shù)據(jù)發(fā)送出去。DSP模塊的存儲單元(圖1中的SDRAM2)用來存放參考幀數(shù)據(jù)和中間運算結(jié)構(gòu)。MPEG-4壓縮編碼算法指令存放在PROM中,為縮短取指時間,編碼器在啟動時已將指令從PROM讀到片內(nèi)存儲器中。MPEG壓縮碼流是變速碼流(VBR),而當(dāng)該碼流在恒定速率(CBR)的信道上發(fā)送時,需要一個FIFO緩存來平滑編碼器輸出碼率的波動。

該設(shè)計的特點主要表現(xiàn)在以下2個方面:

①可擴展性好。FPGA模塊除了負(fù)責(zé)數(shù)據(jù)I/O功能外,還作為協(xié)處理器使用,可根據(jù)需要增加FPGA的門數(shù)來實現(xiàn)原來由DSP完成的功能,例如Huffman編碼、運動估計等;

②靈活的視頻壓縮編碼格式控制,編碼器能夠?qū)崟r地根據(jù)用戶的要求進行壓縮編碼。

2 視頻壓縮算法優(yōu)化

(1)MPEG-4數(shù)據(jù)流優(yōu)化設(shè)計

實驗表明,如果代碼和代碼要訪問的數(shù)據(jù)在C6201片內(nèi)存儲區(qū)(PRAM和DRAM),其代碼執(zhí)行速度要比代碼和數(shù)據(jù)在片外同步SDRAM中平均快17倍(片內(nèi)總線寬度為256位,數(shù)據(jù)訪問為1個CPU周期)。因此,將執(zhí)行代碼和數(shù)據(jù)放到片內(nèi)將大大提高程序的運行速度。

在MPEG-4算法中,由于沒有考慮存儲器的限制,算法每次讀入一幀YUV數(shù)據(jù)進行壓縮編碼。但對于C6201來說,片內(nèi)只有64K字節(jié)DRAM,不可能一次將一幀數(shù)據(jù)讀到片內(nèi)存儲器進行壓縮。如果將一幀數(shù)據(jù)一次讀到片外存儲器(SDRAM)中進行壓縮,又會大大降低代碼的執(zhí)行速度,因此,我們對視頻壓縮算法進行了改進,一次對一個切片(slice)數(shù)據(jù)進行壓縮編碼,并將壓縮碼流數(shù)據(jù)直接送入到發(fā)送緩沖區(qū)中。

編碼器一次將一個切片的YUV數(shù)據(jù)(當(dāng)前幀)讀入到片內(nèi)存儲器中,然后根據(jù)計算決定切片宏塊的編碼類型(幀內(nèi)/幀間編碼)。如果宏塊進行幀內(nèi)編碼,則YUV數(shù)據(jù)被分成8×8的像素塊(一個宏塊包含4個Y分量像素塊和2個UV分量像素塊)進行DCT變化,以消除圖像空間冗余信息。DCT變化后的系數(shù)經(jīng)過量化后進行游程編碼(RunLengthCoding即RLC)和變長編碼(VariableLengthCoding,即VLC),變長編碼的結(jié)果送入到視頻發(fā)送緩沖區(qū)中。與此同時,量化后的DCT系數(shù)經(jīng)過反量化(結(jié)果放入內(nèi)存B中)和反DCT過程形成重建幀,重建幀用作下一幀的參考幀。

如果宏塊進行幀間編碼,則以宏塊為單位進行運動估計,根據(jù)運動估計的結(jié)果建立預(yù)測幀。當(dāng)前幀和預(yù)測幀的差值形成了殘差幀(residue frame),殘差幀的編碼過程與幀內(nèi)編碼過程相同。

(2)宏塊編碼類型判別算法

在MPEG-4算法中采用了快速運動估計算法,但是在進行宏塊編碼類型判別時計算量仍然很大。為此,本文提出了基于宏塊空間復(fù)雜度的判別算法MTJBSC,進一步降低了運動估計過程中的計算量。

在編碼P幀宏塊的時候,首先要決定宏塊是進行幀內(nèi)編碼還是幀間編碼。在標(biāo)準(zhǔn)MPEG-4算法中是通過以下方法決定的[5]:

設(shè)參考宏塊的像素值(Y分量值,以下同)用P(x,y)表示,當(dāng)前宏塊的像素值用C(x,y)表示,x,y表示宏塊的縱、橫坐標(biāo),M,N表示宏塊的寬和高。當(dāng)前宏塊像素值的方差用EVAR表示,其值為

參考宏塊和當(dāng)前宏塊的方差用EVMC表示,其值為

EVMC值越小(比如EVMC

if(EVMC>EVARandEVMC≥9)then幀內(nèi)編碼else幀間編碼

顯然,在MPEG-4算法中,為了判斷宏塊的編碼模式進行了大量的計算(對于每一個P幀宏塊都要進行上面的計算)。為了減少計算復(fù)雜度,本文提出了基于宏塊空間復(fù)雜度(EMBC)的宏塊類型判斷(MTJBSC)算法,用以判斷P幀宏塊的幀內(nèi)/幀間編碼模式。

定義宏塊的空間復(fù)雜度為水平方向上相鄰像素差值的絕對值之和,即

在基于幀間差原理進行視頻壓縮的MPEG標(biāo)準(zhǔn)中,一般都是采用絕對差總合(ESAD)來進行運動估計的。在MPEG標(biāo)準(zhǔn)中,宏塊的ESAD值定義為

式中:m,n為該宏塊的運動向量。

根據(jù)上述定義,MTJBSC算法可簡單描述為:

如果宏塊的ESAD小于其EMBC,則該P幀宏塊進行幀間編碼;否則進行幀內(nèi)編碼。實驗表明,在壓縮質(zhì)量和壓縮輸出碼率均沒有大的變動的情況下,該算法有效降低了視頻編碼器的計算復(fù)雜度,編碼器的壓縮幀率(f/s)得到明顯提高。

3 測試結(jié)果

表1為編碼器進行裝載測試的測試結(jié)果(1幀的平均值)。裝載測試是首先將視頻測試序列裝載到編碼器的SDRAM中,然后進行壓縮編碼。使用的視頻序列為標(biāo)準(zhǔn)測試序列mother(CIF格式,彩色,YUV4∶2∶0,5幀),DSP主頻設(shè)置為200MHz。

表2為美國TI(TexasInstrument)公司基于DSK6711EVM板開發(fā)的H.263視頻編碼器的性能測試數(shù)據(jù)(裝載測試)[6],DSP主頻為150MHz。TI公司針對DSK6711對H.263做了全面優(yōu)化,算法關(guān)鍵代碼采用了線性匯編語言編寫。H.263視頻編碼算法與MPEG視頻編碼算法的壓縮編碼原理、過程和計算復(fù)雜度大致相當(dāng),因此二者具有可比性。

從表1和表2可以看出,研制的視頻編碼器平均壓縮幀率為39.2f/s(CIF圖像),而TI公司開發(fā)的視頻編碼器平均壓縮幀率為20f/s(CIF圖像),絕對性能提高了96%,考慮到DSP主頻的因素,相對性能仍然提高了47%。

4 結(jié)論

采用DSP和FPGA協(xié)同技術(shù)設(shè)計實現(xiàn)了一個高性能的MPEG24視頻編碼器。使用FPGA完成編碼器I/O功能,使用DSP進行視頻壓縮編碼,二者能夠很好地并行工作,系統(tǒng)設(shè)計結(jié)構(gòu)簡捷,硬件工作可靠。同時,針對DSPC6201片內(nèi)資源特點優(yōu)化了視頻壓縮的數(shù)據(jù)流模式,采用MTJBSC算法有效地降低了壓縮算法的計算復(fù)雜度。測試結(jié)果表明,采用MPEG24視頻標(biāo)準(zhǔn)該視頻編碼器每秒能夠每秒壓縮39.2幀CIF圖像。