摘 要： 針對紅外圖像的特點(diǎn)，提出了汽車夜視系統(tǒng)中圖像增強(qiáng)的預(yù)處理方案。給出了基于FPGA的視頻格式轉(zhuǎn)換、快速中值濾波、自適應(yīng)平臺直方圖雙向均衡化的原理、實(shí)現(xiàn)方法及仿真結(jié)果。仿真結(jié)果表明本方案較好地滿足了圖像處理效果和處理速度的要求。

關(guān)鍵詞： 汽車夜視系統(tǒng)；FPGA；視頻格式轉(zhuǎn)換；中值濾波；自適應(yīng)平臺直方圖雙向均衡化

汽車紅外夜視系統(tǒng)作為輔助駕駛系統(tǒng)的一部分，在提高夜間駕駛的安全性方面起到了重要的作用。但由于受到紅外器件發(fā)展的限制，其成像效果不夠理想，影響了汽車紅外夜視系統(tǒng)在實(shí)際中的應(yīng)用。在系統(tǒng)中加入實(shí)時圖像處理功能是最為經(jīng)濟(jì)有效的方法^[1]。

為保持圖像數(shù)據(jù)傳輸和處理的連續(xù)性，圖像數(shù)據(jù)的處理不能導(dǎo)致圖像數(shù)據(jù)傳輸?shù)淖枞?、中斷或圖像數(shù)據(jù)的丟失，因此實(shí)時圖像處理系統(tǒng)必須具有快速處理巨大數(shù)據(jù)量的能力。FPGA以其硬件并行性、編程靈活性等特點(diǎn)，非常適合實(shí)時大數(shù)據(jù)量的處理。

1 FPGA圖像預(yù)處理功能設(shè)計

針對紅外圖像噪聲大、對比度低、圖像細(xì)節(jié)分辨能力差等特點(diǎn)，采用了基于流水線方式的快速中值濾波方法濾除視頻圖像中的噪聲，采用自適應(yīng)平臺直方圖雙向均衡化方法增強(qiáng)視頻圖像的視覺效果。同時為便于視頻圖像的處理，在圖像處理前后對視頻圖像的格式進(jìn)行了轉(zhuǎn)換。

FPGA圖像預(yù)處理功能如圖1所示。

2 視頻格式的轉(zhuǎn)換

汽車紅外夜視系統(tǒng)中，視頻圖像采集部分的攝像機(jī)輸出的模擬信號經(jīng)AD轉(zhuǎn)換后變?yōu)榉螴TU-R BT.656標(biāo)準(zhǔn)的YUV422格式數(shù)字?jǐn)?shù)據(jù)流，其中行起始和結(jié)束標(biāo)志融合在數(shù)據(jù)流中。為了使視頻數(shù)據(jù)流的表示更加清晰，將其轉(zhuǎn)換為MHIVF(Mitth?觟gskolans Interlaced Video Format)格式。在圖像處理之后，再將其轉(zhuǎn)換回ITU-R BT.656標(biāo)準(zhǔn)數(shù)據(jù)格式進(jìn)行DA轉(zhuǎn)換輸出。ITU-R BT.656標(biāo)準(zhǔn)的YUV422格式數(shù)字視頻數(shù)據(jù)流^[2]和MHIVF的時序關(guān)系分別如圖2和圖3所示。

圖2中Y表示亮度，Cb和Cr是色差信號。數(shù)據(jù)流中有兩個定時基準(zhǔn)信號：一個在每個視頻數(shù)據(jù)塊的開始(Start of Active Video，SAV)，另一個在每個視頻數(shù)據(jù)塊的結(jié)束(End of Active Video，EAV)。每個定時基準(zhǔn)信號由4個字的序列組成，格式如下：FF 00 00 XY（數(shù)值以16進(jìn)制表示，F(xiàn)F00保留僅供定時基準(zhǔn)信號用)。頭三個是固定前綴，第4個字包含奇偶場標(biāo)識、場消隱狀態(tài)和行消隱狀態(tài)的信息。定時基準(zhǔn)信號內(nèi)的比特分配如表1所示。

注：(1)MSB：Most Significant Bit(最高位)；

LSB：Least Significant Bit(最低位)。

(2)F=0 第1場；F=1 第2場。

V=1 場消隱期；V=0 其他處。

H=0 行起始處；H=1 行結(jié)束處。

(3)P₀，P₁，P₂，P₃為保護(hù)位，它們的狀態(tài)取決于F、V、H的狀態(tài)。在數(shù)據(jù)接收端，能夠進(jìn)行一位糾錯和兩位檢錯。

圖3中pclk為像素時鐘信號；ofsync和efsync分別為奇場和偶場同步信號，每場起始處第一個時鐘周期高電平；rsync為行同步信號，行有效期間為高電平，行間至少一個時鐘周期；pdata為像素數(shù)據(jù)。

2.1 ITU-R BT.656轉(zhuǎn)換為MHIVF的方法及實(shí)現(xiàn)

監(jiān)測到SAV標(biāo)志到來時，rsync置1(維持一個時鐘周期)，ofsync和efsync視XY的具體值決定是否置1。同時對像素個數(shù)進(jìn)行計數(shù)，如果累計值達(dá)到了一行像素的個數(shù)上限，則rsync置0，ofsync或efsync也置為0。等待下一行開始信號的到來，如此反復(fù)。同時由于系統(tǒng)主要應(yīng)用在光照條件較弱的場合，采集黑白圖像即可，因此后續(xù)圖像處理只需要亮度信號即可，色差信號可以從數(shù)據(jù)流中去除。從視頻數(shù)據(jù)流的第二個數(shù)據(jù)開始每兩個數(shù)取一個便分離出了亮度信號，MHIVF中的像素時鐘可以從對工作時鐘的二分頻得到。整個模塊的功能在有限狀態(tài)機(jī)（FSM）的協(xié)調(diào)下完成。模塊結(jié)構(gòu)如圖4所示。

2.2 MHIVF轉(zhuǎn)換為ITU-R BT.656的方法及實(shí)現(xiàn)

要完成MHIVF到ITU-R BT.656的轉(zhuǎn)換，需要在視頻數(shù)據(jù)流每一行的起始和結(jié)束位置分別添加SAV和EAV標(biāo)志，同時應(yīng)添加色差信號C_b和C_r。為實(shí)現(xiàn)上述功能，設(shè)置了四個8位寄存器和一個二選一選擇器，由有限狀態(tài)機(jī)FSM協(xié)調(diào)工作。具體實(shí)現(xiàn)過程如下：模塊處于等待狀態(tài)直到ofsync或efsync和rsync到來，然后視頻數(shù)據(jù)輸入到4個8 bit串行寄存器的第一個。因為SAV和EAV均為4 B，所以視頻數(shù)據(jù)依次通過4個寄存器就相當(dāng)于做了4個時鐘周期的延時。在這4個時鐘周期內(nèi)二選一選擇器選擇FSM產(chǎn)生的SAV或EAV標(biāo)志輸出，這樣就在數(shù)據(jù)流中加入了SAV和EAV標(biāo)志。在二選一選擇器和FSM之間設(shè)立握手信號，在添加SAV或EAV標(biāo)志的同時，如果rsync有效，則二選一選擇器選擇FSM產(chǎn)生的C_b和C_r信號輸出，同時改變握手信號，這樣在下一個時鐘的上升沿，如果rsync有效，二選一選擇器會選擇從寄存器傳來的數(shù)據(jù)作為輸出。如此反復(fù)，就實(shí)現(xiàn)了在數(shù)據(jù)流中添加色差信號C_b和C_r的功能。因為系統(tǒng)中使用的是黑白圖像，所以為了簡化設(shè)計，色差信號Cb和Cr的值均取十進(jìn)制值128。模塊結(jié)構(gòu)如圖5所示。

為了檢驗?zāi)K功能的正確性，將格式相互轉(zhuǎn)換的兩個子模塊綜合進(jìn)行了仿真，得到了預(yù)期的波形，說明模塊正確完成了預(yù)定的功能。仿真波形圖6所示。

3 流水線快速中值濾波

3.1 快速中值濾波的原理

中值濾波^[3-4]是一種非線性濾波技術(shù)，它能有效抑制圖像噪聲、提高信噪比而保持圖像邊緣。它是一種鄰域運(yùn)算，把鄰域中的像素按灰度級進(jìn)行排序，然后選擇該組的中間值作為輸出像素值。如果采用3×3模板，則中值為窗口內(nèi)排第五位的像素值。由于只需要取出中值，所以沒有必要對窗口內(nèi)的像素值進(jìn)行全部排序。

將3×3窗口內(nèi)的各個像素分別定義為P₁、P₂、P₃、P₄、P₅、P₆、P₇、P₈、P₉，像素排列如表2所示。

在3×3窗口中共有9個數(shù)據(jù)，中值的特點(diǎn)是窗口中至多有4個數(shù)比它本身大，至多有4個數(shù)比它本身小。算法思想是逐步淘汰，整個過程中如果有兩個數(shù)據(jù)相等，算法不受影響。具體過程如下：第一步將各行數(shù)據(jù)從小到大分別進(jìn)行排序，并從小到大存放；第二步對三列數(shù)據(jù)分別進(jìn)行排序。在第一列數(shù)據(jù)中取出最大值，第一列中的另外兩個數(shù)至少有5個數(shù)比它們本身大，不可能為中值。在第二列數(shù)據(jù)中取出中值。對于第二列數(shù)據(jù)的最小值，至少有5個數(shù)比它本身大（本列中另外兩個數(shù)和第三列中的三個數(shù)），不可能為中值；對于第二列數(shù)據(jù)的最大值，至少有5個數(shù)比它本身?。ū玖兄辛硗鈨蓚€數(shù)和第一列中的三個數(shù)），不可能為中值。在第三列數(shù)據(jù)中取出最小值，第三列中的另外兩個數(shù)至少有5個數(shù)比它們本身小，不可能為中值。這樣窗口中值的可能取值只剩下三種可能。對這三個數(shù)排序取中值即為窗口的中值。比較過程如圖7所示。

本算法第一步的三行排序可以并行，第二步的三列排序也可以并行，整個過程只需要3個時鐘周期。由于中值濾波要選取3×3的模板才能完成一個像素點(diǎn)的運(yùn)算，所以對于一幅圖像中的最外面一圈像素，無法生成3×3的模板。真正能夠處理的像素點(diǎn)是從第二行第二列的像素點(diǎn)開始的。對于未覆蓋的區(qū)域，本系統(tǒng)中采取的方法是用模板的中心值代替。

3.2 快速中值濾波的流水線實(shí)現(xiàn)

為了完成中值濾波功能，設(shè)置了三個模塊：行列計數(shù)器模塊、3×3模板生成模塊、中值濾波模塊。模塊結(jié)構(gòu)框圖如圖8所示。

行列計數(shù)器模塊根據(jù)ofsync、efsync、rsync，利用模塊內(nèi)嵌入的計數(shù)器對當(dāng)前像素所處的行數(shù)和列數(shù)進(jìn)行標(biāo)識。3×3模板生成模塊對串行輸入的圖像數(shù)據(jù)流進(jìn)行緩存，然后根據(jù)當(dāng)前像素所處的位置調(diào)整模板中的數(shù)據(jù)輸出。在模板和圖像的相對滑動方面，本文采用固定模板滑動圖像的方法，并針對此方法提出了一種緩存方案：利用FPGA內(nèi)部的BlockRAM開辟兩行加三個像素的緩存區(qū)域R，如果一行像素的個數(shù)為W，則R所占空間為2W+3（地址范圍為[0，2W+2]）。當(dāng)有新像素輸入時，R(2W+1)～R(0)依次賦值給R(2W+2)～R(1)，新像素值存入R(0)。這種方法的優(yōu)點(diǎn)是3×3模板的9個數(shù)與R中元素的對應(yīng)位置固定不變，給操作帶來了極大的方便。由于每個時鐘周期都輸出一組模板數(shù)據(jù)，如果中值濾波模塊采用串行單次排序的方法，則在完成一次排序之前又會有兩組數(shù)據(jù)到達(dá)，這就會造成數(shù)據(jù)的大量丟失，直接影響圖像的質(zhì)量；如果讓模板生成模塊每3個周期輸出一組數(shù)據(jù)則會降低系統(tǒng)的運(yùn)行速度。本文采用3級流水線處理方法，當(dāng)流水線滿負(fù)荷運(yùn)轉(zhuǎn)時，每個時鐘周期都可以輸出中值濾波的結(jié)果，極大地提高了吞吐量。

流水操作的中值濾波模塊的仿真結(jié)果如圖9所示。

采用TEXTIO方法讀入由單幀圖像生成的測試數(shù)據(jù)進(jìn)行仿真。中值濾波前后的效果如圖10和圖11所示。

4 自適應(yīng)平臺直方圖雙向均衡化

4.1 自適應(yīng)平臺直方圖雙向均衡化的原理

自適應(yīng)平臺直方圖雙向均衡化是在直方圖統(tǒng)計的基礎(chǔ)上，通過尋找統(tǒng)計直方圖中的局部最大值和整體最大值得出適當(dāng)?shù)钠脚_閾值，然后利用此閾值修正統(tǒng)計直方圖，進(jìn)而在灰度等級和灰度級間距兩方面對直方圖進(jìn)行均衡化^[3]的一個過程。算法原理如下：

首先統(tǒng)計圖像的直方圖，在統(tǒng)計圖像直方圖時為落在某一個灰度級上的像素點(diǎn)數(shù)設(shè)置一個合適的上限閾值（即平臺值T），適度限制占有像素數(shù)較多的灰度級的空間拉伸。當(dāng)某一灰度級的像素數(shù)大于平臺值T，則統(tǒng)計的像素數(shù)置為T；當(dāng)某一灰度級的像素數(shù)小于平臺值T，則統(tǒng)計的像素數(shù)為實(shí)際值。因而統(tǒng)計直方圖變?yōu)椋?/p>

其中，m為表示圖像灰度級的位數(shù)；k表示圖像的灰度級，對于8位的灰度圖像，0≤k≤255；T是平臺閾值；P(k)是圖像中第k個灰度級的像素數(shù)；P_T(k)是圖像的平臺直方圖。當(dāng)選取的平臺值T大于直方圖的主峰值時，平臺直方圖均衡化演化為經(jīng)典平臺直方圖均衡化；當(dāng)選取的平臺值過小時，增強(qiáng)圖像細(xì)節(jié)的同時又會增強(qiáng)圖像的背景和噪聲，達(dá)不到預(yù)期的效果；因此選擇的平臺值必須小于統(tǒng)計直方圖的主峰值而大于等于直方圖中對應(yīng)于目標(biāo)的峰值。本文采用一種自適應(yīng)求取平臺值的算法，大大增強(qiáng)了系統(tǒng)的靈活性和適用性。

自適應(yīng)求取平臺值的具體算法^[5]如下：

(1)統(tǒng)計原圖像的直方圖P(k)，0≤k≤M，對P(k)進(jìn)行3鄰域一維中值濾波；然后選取直方圖中的非零單元，構(gòu)成集合{F(l)|0≤l≤L}，L為P(k)中非零單元的個數(shù)；

(2)找出F(l)的局部最大值和整體最大值。對非零單元進(jìn)行一階差分運(yùn)算：

F⁽¹⁾(m)=F(m)-F(m-1)

其中，1≤m≤L。找出F(l)中滿足下列條件的F(li)：

F⁽¹⁾(m-1)>0，F(xiàn)⁽¹⁾(m)≥0，F(xiàn)⁽¹⁾(m+1)<0

即F⁽¹⁾(m)的符號在m處發(fā)生了變化（由正變負(fù)），則F(l_i)為局部最大值，其中0≤l_i≤L，0≤i≤N，N為局部最大值的個數(shù)。然后，由F(l_i)求出整體最大值F(l_k)。

(3)求出子集{F(l_i)|k≤i≤N}中的均值F(l_k)，F(xiàn)(l_k)即為估計的平臺閾值。此處取子集{F(l_i)|k≤i≤N}的中值效果會更好一些，但考慮到子集中數(shù)據(jù)的個數(shù)根據(jù)圖像的不同而不同，所以要實(shí)現(xiàn)排序非常繁瑣，不利于實(shí)時實(shí)現(xiàn)。用均值代替中值，加快了運(yùn)算速度，同時也取得了令人滿意的圖像效果。

計算出平臺閾值得到平臺直方圖后，對灰度級數(shù)目進(jìn)行統(tǒng)計。假設(shè)平臺直方圖的存儲單元為S，灰度級數(shù)目為M，令M0＝0，則：

上式完成對灰度范圍內(nèi)不為零的灰度級進(jìn)行累加計算，從而獲得有效的實(shí)際灰度級數(shù)。M_k表示累積直方圖中第k級灰度之前(包括k)的灰度級數(shù)目，M₂^m－1即為處理后圖像的實(shí)際灰度級數(shù)。

然后對這些有效灰度級進(jìn)行重新排序，在整個灰度范圍內(nèi)作等間距排列，變換函數(shù)為：

T_k表示第k級灰度在新直方圖中的灰度值，也即灰度值k經(jīng)平臺直方圖雙向均衡后要顯示的新灰度值。

4.2 自適應(yīng)平臺直方圖雙向均衡化算法的FPGA實(shí)現(xiàn)

自適應(yīng)平臺直方圖雙向均衡化的硬件實(shí)現(xiàn)主要由直方圖統(tǒng)計模塊、平臺值計算模塊、平臺直方圖灰度級統(tǒng)計模塊、灰度間距計算模塊、灰度映射模塊、控制模塊組成，如圖12所示。

平臺值計算模塊的結(jié)構(gòu)框圖如圖13所示。

輸入圖像數(shù)據(jù)在讀入的同時進(jìn)行直方圖統(tǒng)計，直方圖數(shù)據(jù)存入由FPGA內(nèi)部BlockRam后DistributedRam構(gòu)成的ram1中，然后根據(jù)平臺值計算模塊計算出的平臺值對統(tǒng)計直方圖進(jìn)行修正得到平臺直方圖，存放于ram2中。結(jié)束后，從ram2中讀取數(shù)據(jù)統(tǒng)計實(shí)際的灰度級數(shù)，然后將這些灰度級均勻分布在要顯示的灰度級上，從而減少了灰度冗余，使呈現(xiàn)圖像更具層次感。最后進(jìn)行灰度映射將映射關(guān)系存于ram3中，輸入數(shù)據(jù)可根據(jù)灰度值查表輸出。這樣就完成了對圖像的增強(qiáng)工作。其中灰度間距計算模塊采用查表法，以灰度級數(shù)做為輸入，將把這些灰度級均勻分布在256級灰度上的間距提前存入表中。查表只需一個時鐘周期，較除法運(yùn)算，速度大大提高。

采用TEXTIO方法讀入由單幀圖像生成的測試數(shù)據(jù)進(jìn)行仿真。處理前后圖像的效果及直方圖如圖14～圖17所示。

快速中值濾波方法有效去除了圖像中的噪聲，而且很好地保持了圖像的邊緣，其流水線方式的實(shí)現(xiàn)極大地提高了系統(tǒng)的吞吐量。自適應(yīng)平臺直方圖雙向均衡化可根據(jù)圖像的不同自動調(diào)整用以修正直方圖的平臺值，增強(qiáng)了圖像對比度且保證了圖像過渡自然。視頻格式的轉(zhuǎn)換使得這兩種操作更加方便。圖像的預(yù)處理將使得汽車夜視系統(tǒng)的成像效果得到極大的改善。

參考文獻(xiàn)

[1] 韓寶玲，黃貞華，何煒.新型汽車紅外夜視系統(tǒng)的研究與開發(fā)[J].計算機(jī)測量與控制，2004(9)：874-876.

[2] 俞斯樂.電視原理（第6版）[M].北京：國防工業(yè)出版社，2005：95-145.

[3] RAFAEL C.Gonzalez Richard E.Woods.數(shù)字圖像處理（第二版）[M].北京：電子工業(yè)出版社，2003：59-112.

[4] 李雷鳴，張煥春，張波.一種基于FPGA的圖像中值濾波器的硬件實(shí)現(xiàn)[J].電子工程師，2004(2)：48-50.

[5] 王炳健，劉上乾，拜麗萍.紅外圖像實(shí)時增強(qiáng)的新算法[J].光電工程，2006(1)：46-49