摘要

此項(xiàng)目旨在對(duì)一個(gè)目標(biāo)捕獲系統(tǒng)的圖像處理算法進(jìn)行嚴(yán)格的硬件驗(yàn)證.我們將用分別用硬件設(shè)計(jì)和多核軟件設(shè)計(jì)來(lái)分別實(shí)現(xiàn)這個(gè)算法,并比較這兩種實(shí)現(xiàn)方式.在創(chuàng)建多核軟件設(shè)計(jì)的過(guò)程中我們還將對(duì)OpenFire軟核進(jìn)行改進(jìn)以搭建起這個(gè)多核網(wǎng)絡(luò).

這個(gè)目標(biāo)捕獲系統(tǒng)的圖像處理算法的硬件實(shí)現(xiàn)方式和多核軟件實(shí)現(xiàn)方式將在一個(gè)基于FPGA試驗(yàn)板上進(jìn)行比較.以此證明通過(guò)合理配置和編程多核軟件實(shí)現(xiàn)同樣很容易達(dá)到和硬件實(shí)現(xiàn)一樣的低功耗性能,并只有非常低的面積消耗.

引言

隨著現(xiàn)代高速處理器的迅猛發(fā)展，圖像處理技術(shù)也日益成熟。其中，移動(dòng)目標(biāo)的視頻檢測(cè)與跟蹤是圖像處理、分析應(yīng)用的一個(gè)重要領(lǐng)域，是當(dāng)前相關(guān)領(lǐng)域的研究前沿。移動(dòng)目標(biāo)視頻檢測(cè)與跟蹤技術(shù)，在機(jī)器人視覺(jué)、交通監(jiān)測(cè)、可視預(yù)警、機(jī)器導(dǎo)航等民用領(lǐng)域有著廣泛的應(yīng)用.基于FPGA為核心器件構(gòu)成的視頻識(shí)別和跟蹤裝置，實(shí)現(xiàn)圖像跟蹤各項(xiàng)功能。此項(xiàng)目提出的跟蹤算法與設(shè)計(jì)的跟蹤裝置可在一定程度上解決視頻跟蹤精度低、處理速度慢的問(wèn)題，同時(shí)本視頻跟蹤裝置也可作為進(jìn)一步研究圖像處理與跟蹤控制的平臺(tái)。該系統(tǒng)體積小，靈活性高，易于升級(jí)，可應(yīng)用于無(wú)人值守的智能監(jiān)控系統(tǒng)，如銀行，金庫(kù)，倉(cāng)庫(kù)等重地。當(dāng)發(fā)現(xiàn)異常情況出現(xiàn)時(shí)，該系統(tǒng)能夠自動(dòng)報(bào)警或采取其它相應(yīng)的措施，從而更有效、可靠地實(shí)現(xiàn)了安全防范，同時(shí)也在很大程度上減少了監(jiān)視人員的工作量和疲勞度，大大提高了工作效率。

此項(xiàng)目旨在對(duì)一個(gè)目標(biāo)捕獲系統(tǒng)的圖像處理算法進(jìn)行嚴(yán)格的硬件驗(yàn)證.我們將用分別用硬件設(shè)計(jì)和多核軟件設(shè)計(jì)來(lái)分別實(shí)現(xiàn)這個(gè)算法,并比較這兩種實(shí)現(xiàn)方式.在創(chuàng)建多核軟件設(shè)計(jì)的過(guò)程中我們還將對(duì)OpenFire軟核進(jìn)行改進(jìn)以搭建起這個(gè)多核網(wǎng)絡(luò).

這個(gè)目標(biāo)捕獲系統(tǒng)的圖像處理算法的硬件實(shí)現(xiàn)方式和多核軟件實(shí)現(xiàn)方式將在一個(gè)基于FPGA試驗(yàn)板上進(jìn)行比較.以此證明通過(guò)合理配置和編程多核軟件實(shí)現(xiàn)同樣很容易達(dá)到和硬件實(shí)現(xiàn)一樣的低功耗性能,并只有非常低的面積消耗.

目標(biāo)捕獲系統(tǒng)流程及系統(tǒng)架構(gòu)

圖一 目標(biāo)捕獲系統(tǒng)流程圖

圖二 本項(xiàng)目系統(tǒng)架構(gòu)圖

FPGA的實(shí)現(xiàn)

1 算法簡(jiǎn)介

（1）背景差分法算法背景差分[6]是利用當(dāng)前圖像與背景圖像差分來(lái)檢測(cè)出運(yùn)動(dòng)區(qū)域的一種技術(shù)，一般能提供最完全的特征數(shù)據(jù)，但對(duì)于動(dòng)態(tài)場(chǎng)景的變化，如光照等事件的干擾特別敏感。考慮到攝像機(jī)移動(dòng)緩慢，背景圖像變化比較遲緩，而運(yùn)動(dòng)對(duì)象相對(duì)于背景變化較快，這樣相對(duì)于變化較慢的背景圖像來(lái)說(shuō)，可把運(yùn)動(dòng)對(duì)象看作是一個(gè)對(duì)背景圖像的隨機(jī)擾動(dòng)。針對(duì)本裝置的設(shè)計(jì)要求，我們應(yīng)用Kalman濾波器[4]在零均值白噪聲的退化公式即漸消記憶遞歸最小二乘法，來(lái)更新和重建背景圖像，得到時(shí)域漸消遞歸最小二乘法的遞歸式

（2） 顏色濾波去陰影算法

如果圖像中具有運(yùn)動(dòng)陰影和分割碎塊，分割所得的圖像往往與實(shí)際目標(biāo)不符，產(chǎn)生欠分割或過(guò)分割的現(xiàn)象。由于陰影象素的灰度值在一個(gè)局部領(lǐng)域中變化不是很大，所以顏色濾波主要是構(gòu)造一個(gè)包含陰影的模板，再用這個(gè)模板與差分結(jié)果做邏輯與的操作，從而檢出陰影。本算法比較簡(jiǎn)單，執(zhí)行速度快，處理中不需要區(qū)分陰影和半陰影，而且可以將移動(dòng)陰影和背景中的陰影都檢出來(lái)，只是模板中的參數(shù)要根據(jù)現(xiàn)實(shí)情況和經(jīng)驗(yàn)來(lái)定。由于靜止物體的陰影也是不動(dòng)的，所以靜止目標(biāo)可以歸入背景中

(3）形心跟蹤算法

形心跟蹤是將整個(gè)跟蹤波門(mén)內(nèi)的圖像二值化，用求目標(biāo)形心的辦法獲得目標(biāo)位置參量。由于形心值是相對(duì)于目標(biāo)面積歸一化的值，因此形心值不受目標(biāo)面積、形狀以及灰度分布細(xì)節(jié)的限制。同時(shí)，形心跟蹤的計(jì)算頗為簡(jiǎn)便。但是，形心跟蹤器受目標(biāo)的劇烈運(yùn)動(dòng)或目標(biāo)被遮擋的影響較為嚴(yán)重，瞄準(zhǔn)點(diǎn)漂移是遠(yuǎn)距離跟蹤系統(tǒng)的主要誤差之一。這也是我們采用目標(biāo)軌跡擬合算法來(lái)外推運(yùn)動(dòng)目標(biāo)位置，并與相關(guān)跟蹤法并行工作的原因。由于形心算法比較普及，本跟蹤裝置直接采用了改進(jìn)的形心跟蹤算法，用目標(biāo)峰值自適應(yīng)檢測(cè)算法使系統(tǒng)的計(jì)算可靠性和實(shí)時(shí)性達(dá)到最佳結(jié)合值。

2 算法的實(shí)現(xiàn)

1 差分機(jī)模型

圖三 差分機(jī)模型

從圖中可以看出 差分機(jī)分4步對(duì)比計(jì)算每個(gè)像素和顏色的差別,輸入這個(gè)模型的是紅綠藍(lán)的像素值 和 紅綠藍(lán)的顏色值以及閾值.當(dāng)閾值為16bits 寬的時(shí)候 那么每個(gè)輸入像素的值就是8bits寬.

二進(jìn)制的數(shù)據(jù)流作為此差分機(jī)的輸出用于構(gòu)建差分圖形.

系統(tǒng)采用四個(gè)OpenFire core 作為自己的軟核 .Openfire是一個(gè)開(kāi)源的軟核, 這種開(kāi)放源碼的處理器和Xilinx的Microblaze 兼容，甚至可以使用大多數(shù)Xilinx　ＥＤＫ提供的工具 。Openfire在cache和FSL總線(xiàn)等方面和Microblaze有著相同的配置 , 但是openfire允許改變數(shù)據(jù)通過(guò)的字節(jié)寬度,這正是我們目標(biāo)捕捉圖像處理算法所需要的.

圖四 四 OpenFire 軟核 架構(gòu)

圖五 改進(jìn)后的openfire處理器頂層圖

圖六 Openfire OPB 狀態(tài)機(jī)

圖七 Open fire OPB memory 系統(tǒng)圖

圖八 Open fire IOPB memory 系統(tǒng)圖

圖九 改進(jìn)OenFire FSL 數(shù)據(jù) I/O

部分代碼

1 FSL loopback test code

// This code is used by an OpenFire with all eight of its FSL ports connected

// in loopback to ensure that all ports are functional.

#include "fsl.h"

bool test_fsls(void);

int main(void) {

test_fsls();

while(1);

}

bool test_fsls(void) {

int data = 0;

putfsl(data+1,0);

getfsl(data,0);

putfsl(data+1,1);

getfsl(data,1);

putfsl(data+1,2);

getfsl(data,2);

putfsl(data+1,3);

getfsl(data,3);

putfsl(data+1,4);

getfsl(data,4);

putfsl(data+1,5);

getfsl(data,5);

putfsl(data+1,6);

getfsl(data,6);

putfsl(data+1,7);

getfsl(data,7);

return(data == 8);

}

2 IOPB / DOPB test code

#include "microblaze_0/include/xparameters.h"

#include "microblaze_0/include/xuartlite_l.h"

#include "microblaze_0/include/fsl.h"

extern void xil_printf(const char*, ...);

void outbyte(char c)

{

XUartLite_SendByte(STDOUT_BASEADDRESS, c);

}

char inbyte(void)

{

return XUartLite_RecvByte(STDIN_BASEADDRESS);

}

volatile unsigned int * timer = (unsigned int *)0x40060008;

volatile unsigned int * ddr = (unsigned int *)0x30000000;

unsigned int (*moved_summer)(const unsigned int * values, const int numvals);

unsigned int summer(const unsigned int * values, const int numvals)

{

int ctr;

unsigned int sum = 0;

for(ctr=0;ctr<numvals;ctr++)

sum += values[ctr];

return sum;

}

int main(void)

{

unsigned int starttime;

unsigned int endtime;

unsigned int timetaken;

int test_ctr;

int num_tests = 16;

int num_shifts = 4; // num_shifts = log2(num_tests)

int array_sz = 16;

int array_ctr;

int num_instructions = 100;

int instr_ctr;

unsigned int retval;

for(array_ctr = 0; array_ctr < array_sz; array_ctr++)

ddr[array_ctr] = array_ctr;

xil_printf("-- Starting Test (BRAM) --rn");

retval = 0;

timetaken = 0;

for(test_ctr=0;test_ctr<num_tests;test_ctr++)

{

starttime = timer[0];

retval = summer(ddr,array_sz);

endtime = timer[0];

timetaken += endtime - starttime;

}

xil_printf("-- Test Finished --rn");

xil_printf("RtVal: %drn", retval);

xil_printf("Taken: %drn", timetaken);

xil_printf("#Runs: %drn", num_tests);

for(test_ctr=0;test_ctr<num_shifts;test_ctr++) timetaken >>= 1;

xil_printf("Avg: %drn", timetaken);

((unsigned int *)moved_summer) = ddr + 0x1000;

for(instr_ctr=0; instr_ctr<num_instructions; instr_ctr++)

((unsigned int *)moved_summer)[instr_ctr] = ((unsigned int *)summer)[instr_ctr];

xil_printf("-- Starting Test (DDR) --rn");

retval = 0;

timetaken = 0;

for(test_ctr=0;test_ctr<num_tests;test_ctr++)

{

starttime = timer[0];

retval = moved_summer(ddr,array_sz);

endtime = timer[0];

timetaken += endtime - starttime;

}

xil_printf("-- Test Finished --rn");

xil_printf("RtVal: %drn", retval);

xil_printf("Taken: %drn", timetaken);

xil_printf("#Runs: %drn", num_tests);

for(test_ctr=0;test_ctr<num_shifts;test_ctr++) timetaken >>= 1;

xil_printf("Avg: %drn", timetaken);

while(1);

return(0);

}

3 OpenFire#1 C Code

unsigned mostly_colors;

unsigned thresh_desired;

unsigned char * rdes = &(((unsigned char *)&mostly_colors)[0]);

unsigned char * r = &(((unsigned char *)&mostly_colors)[1]);

unsigned char * g = &(((unsigned char *)&mostly_colors)[2]);

unsigned char * b = &(((unsigned char *)&mostly_colors)[3]);

unsigned short * thresh = &(((unsigned short *)&thresh_desired)[0]);

unsigned char * gdes = &(((unsigned char *)&thresh_desired)[2]);

unsigned char * bdes = &(((unsigned char *)&thresh_desired)[3]);

unsigned yx_data, sum;

while(1)

{

getfsl(mostly_colors,0);

getfsl(thresh_desired,1);

getfsl(yx_data,2);

sum = ((*r) - (*rdes)) * ((*r) - (*rdes)) +

((*g) - (*gdes)) * ((*g) - (*gdes)) +

((*b) - (*bdes)) * ((*b) - (*bdes));

if(sum < (*thresh))

{

putfsl(yx_data,0);

putfsl(yx_data,1);

}

else

{

putfsl(0,0);

putfsl(0,1);

}

}

需要的開(kāi)發(fā)平臺(tái)

硬件平臺(tái)

軟件平臺(tái)

PC機(jī)

Linux

QT

Virtex-II Pro開(kāi)發(fā)板

Matlab

ISE

ModelSim

EDK