引言

基于FPGA的圖像采集和處理系統(tǒng)具有功耗低、體積小、處理速度快的優(yōu)勢,在圖像采集和數(shù)據(jù)處理方面有廣泛應(yīng)用。本次設(shè)計主要解決了視頻流數(shù)據(jù)實(shí)時顯示和圖像預(yù)處理問題,圖像采集和處理系統(tǒng)基于FPGA和OV5640攝像頭,通過OV5640攝像頭進(jìn)行圖像數(shù)據(jù)的采集,然后將其傳輸至FPGA內(nèi)部,FPGA首先控制視頻流數(shù)據(jù)存儲在SDRAM中,再將其傳輸至TFT顯示屏進(jìn)行實(shí)時視頻流顯示。與此同時,內(nèi)部集成圖像處理模塊能實(shí)現(xiàn)視頻數(shù)據(jù)的中值濾波、高斯濾波、邊緣檢測等功能。該圖像采集和處理系統(tǒng)結(jié)構(gòu)如圖1所示。

1攝像頭

本次設(shè)計攝像頭選用OV5640,支持MIPI和DVP兩種接口。DVP接口是并行總線接口,MIPI接口是LVDS低壓差分接口?，F(xiàn)擬采用DVP接口驅(qū)動該攝像頭。

OV5640所使用總線為SCCB,該總線類似于I2C總線,總線時序分為寫時序和讀時序。

寫時序:Start一deviceid一ac一一kaddr一ac一一kdata一ac一一Stwp:

讀時序:Start一deviceid一ac一一raddr一ac一一Start一ac一一rdata一nac一一Stwp。

其中,Start表示啟動總線:deviceid是設(shè)備ID,最后一位表示讀寫操作碼,低表示寫,高表示讀:ac一是寫操作應(yīng)答信號:kaddr表示寄存器地址:raddr表示寫對應(yīng)的寄存器數(shù)據(jù):kdata表示寫寄存器數(shù)據(jù):rdata表示讀對應(yīng)的寄存器數(shù)據(jù):Stwp表明關(guān)閉總線。

使用OV5640,需首先進(jìn)行上電初始化,然后對其關(guān)鍵寄存器進(jìn)行配置以實(shí)現(xiàn)寄存器初始化。經(jīng)過上述兩個步驟后,即可操作該攝像頭進(jìn)行圖像采集。擬選擇的視頻采集參數(shù)為480dpi,刷新率60fpS,圖像格式為RGB565。由此算出PCLK時鐘頻率至少為PCLK=800×480×(16bit/8bit）×60=46.08MHz,而從時序可知圖像顯示會有一定比例無效像素點(diǎn),故PCLK實(shí)際頻率大于46.08MHz。

在視頻流數(shù)據(jù)實(shí)時采集到FPGA再通過VGA接口實(shí)時顯示于鏈路中,二者數(shù)據(jù)速率存在偏差,故需要在其中添加圖像數(shù)據(jù)緩沖單元。圖像的每個像素點(diǎn)為16bit,計算可知一幀有效圖像的數(shù)據(jù)量大小6.144Mbit,片內(nèi)ram無法滿足要求,故選用外部存儲方式。外部存儲選擇SDRAM,并將SDRAM的存儲空間分為兩個子空間,每個子空間存儲一幀數(shù)據(jù),實(shí)時通過乒乓操作進(jìn)行切換,從而達(dá)到視頻流數(shù)據(jù)的無縫傳輸。

2SDRAM

SDRAM全稱為同步動態(tài)隨機(jī)存儲器。同步指其工作頻率與對應(yīng)控制器的系統(tǒng)時鐘頻率相同,且內(nèi)部命令的執(zhí)行與數(shù)據(jù)傳輸都是以該時鐘為基準(zhǔn)。本設(shè)計選用HY57V281620SDRAM,共有128Mbit存儲空間,4個Bank。

為控制SDRAM,首先需對其進(jìn)行上電初始化,然后便可對SDRAM進(jìn)行操作,即讀、寫以及刷新。根據(jù)數(shù)據(jù)手冊中讀寫刷新操作的說明,最終完成SDRAM的控制器設(shè)計,能夠?qū)崿F(xiàn)FPGA外掛SDRAM的讀、寫、刷新操作。

3TFT顯示器

視頻顯示器選擇RGB接口TFT屏,RGB接口的TFT屏掃描方式和VGA標(biāo)準(zhǔn)類似,都為行列掃描。TFT屏掃描方式與VGA差異在于VGA顯示器接收模擬信號,而TFT屏則省略了此過程,直接接收數(shù)字信號。故可以按照設(shè)計VGA顯示器的方法驅(qū)動該顯示屏。

為驅(qū)動VGA接口,需了解其時序,其分為行掃描、列掃描。掃描從屏幕的左上方開始,從左到右,從上到下進(jìn)行掃描,每掃完一行,電子束都回到屏幕的下一行左邊起始位置。在這期間,CRT對電子束進(jìn)行消隱。每行結(jié)束時,用行同步信號進(jìn)行行同步:掃描完所有行,用場同步信號進(jìn)行場同步,并使掃描回到屏幕左上方。同時進(jìn)行場消隱,預(yù)備下一場(幀）的掃描。

不同VGA顯示屏之間除了時序參數(shù)不一樣外,其他并無差異,可按同一方式設(shè)計。在設(shè)計VGA驅(qū)動代碼時,可將時序指標(biāo)進(jìn)行參數(shù)化設(shè)計,這樣在更換顯示屏?xí)r只需改動參數(shù)便可完成驅(qū)動。

3圖像處理模塊

圖像處理模塊用于實(shí)現(xiàn)視頻流數(shù)據(jù)的圖像預(yù)處理,包括中值濾波、SObe1邊緣檢測等。不同于ARM、DSP等通用CPU,FPGA進(jìn)行圖像處理能高速并發(fā),重復(fù)設(shè)計,流水線控制。

中值濾波是一種基于排序統(tǒng)計理論的非線性平滑計數(shù),能有效平滑噪聲,且能有效保護(hù)圖像的邊緣信息,所以被廣泛應(yīng)用于數(shù)字圖像處理的邊緣提取,其基本原理是把數(shù)字圖像或數(shù)字序列中一點(diǎn)的值用該點(diǎn)鄰域內(nèi)所有點(diǎn)的中值來代替。

在FPGA中實(shí)現(xiàn)中值濾波,首先利用移位寄存器生成3×3像素矩陣,然后使用當(dāng)前待濾波像素領(lǐng)域的9個像素的中值代替該像素。求中值的方法是:(1）對3×3矩陣的每行按從大到小進(jìn)行排序。(2）利用排序法求出最大值那一列的最小值,求出數(shù)那一列的中間值,求出最小值那一列的最大值。(3）將求出的三個值再排序,這三個值的中間值就是這個3×3矩陣的中間值。

45SOb1邊緣檢測

SObe1算子主要用作邊緣檢測,在技術(shù)上,它是離散型差分算子,用來計算圖像亮度函數(shù)灰度的近似值。SObe1邊緣檢測的核心在于像素矩陣的卷積,卷積運(yùn)算的本質(zhì)就是對制定的圖像區(qū)域的像素值進(jìn)行加權(quán)求和的過程。其計算過程為圖像區(qū)域中的每個像素值分別與卷積模板的每個元素對應(yīng)相乘,將卷積的結(jié)果做求和運(yùn)算。

與中值濾波一致,采用移位寄存器實(shí)現(xiàn)3×3像素矩陣。SObe1算子的實(shí)現(xiàn)劃分為3個步驟:(1）計算Gx、Gy:(2）求GEQ \* jc3 \* hps10 \o\al(\s\up 3(+GEQ \* jc3 \* hps10 \o\al(\s\up 3(:(3）求GEQ \* jc3 \* hps10 \o\al(\s\up 3(+GEQ \* jc3 \* hps10 \o\al(\s\up 3(的平方根。其中,Gx、Gy為原圖像3×3像素矩陣與橫向縱向高斯模板卷積后矩陣,求平方根時調(diào)用成熟穩(wěn)定可靠的CORD1C1P核實(shí)現(xiàn)。

原圖與經(jīng)過中值濾波和SObe1邊緣檢測的圖像分別如圖2、圖3、圖4所示。由圖2、圖3對比可知,中值濾波后清晰度較好,有效過濾了椒鹽噪聲。由圖3、圖4對比可以看出邊緣的部分顯示為黑,其余部分顯示為白,這樣可以清楚看到圖像邊緣。

6結(jié)語

本文對圖像采集系統(tǒng)的各個分模塊做了獨(dú)立設(shè)計,并將其整和、協(xié)調(diào)控制,完成了實(shí)時視頻流數(shù)據(jù)的高速采集、高清顯示以及圖像預(yù)處理功能,并能夠?qū)?shí)時視頻流數(shù)據(jù)進(jìn)行中值濾波、SObe1邊緣檢測等處理。