立體視覺中大視差圖像誤匹配濾波研究
引言
立體視覺技術(shù)可廣泛地應(yīng)用于視覺導(dǎo)航、目標(biāo)檢測與跟蹤、目標(biāo)測量、目標(biāo)識別、工業(yè)控制以及三維場景感知等場合，而立體視覺中的立體匹配是立體視覺研究領(lǐng)域的重點(diǎn)和難點(diǎn)問題，立體匹配結(jié)果的好壞直接決定三維重建的效果和精度。目前，經(jīng)過多年的研究，已有多種立體匹配算法能夠獲得比較好的稠密視差圖。其中，比較有代表性的匹配算法有基于動態(tài)規(guī)劃的立體匹配算法、圖割法、置信度傳播算法等過。但上述匹配算法在處理實(shí)際釆集的大視差范圍圖像時,由于光照條件、噪聲干擾或遮擋等因素，往往會造成匹配結(jié)果存在較多誤匹配，影響了重建效果。因此,對稠密視差圖進(jìn)行誤匹配濾波顯得非常必要。通過誤匹配濾波，可以明顯地去除誤匹配像素,并可通過鄰域視差值填充或線性插值的方法對像素視差值進(jìn)行修正，從而達(dá)到提高三維重建精度的目的。
目前,立體視覺系統(tǒng)中的誤匹配濾波方法包括兩大部分，即基于二維空間的濾波和基于三維空間的濾波。前者主要針對稀疏匹配后的匹配點(diǎn)進(jìn)行濾波，其算法主要包括灰度均衡算法、互相關(guān)算法、最小中值平均方法和松弛迭代法等;后者主要針對稠密匹配后的匹配點(diǎn)進(jìn)行濾波,算法主要有視差均值濾波法、基于真實(shí)控制點(diǎn)的視差濾波法㈤等。針對稠密視差圖，本文在分析了視差均值濾波法的缺點(diǎn)后，設(shè)計(jì)并實(shí)現(xiàn)了一種重點(diǎn)針對視差圖前景區(qū)域的三維空間濾波法，通過這種誤匹配濾波，可以明顯地去除前景區(qū)域的誤匹配點(diǎn)。
1 視差均值濾波法
誤匹配在三維重建中表現(xiàn)為光滑物體表面上有明顯的凹凸存在，即視差或距離深度值有突變。傳統(tǒng)針對稠密匹配的誤匹配濾波的典型算法主要是視差均值濾波法，該算法的依據(jù)是光滑物體表面上對應(yīng)點(diǎn)的視差變化是連續(xù)的，即光滑表面上的視差值不會有太大突變。該濾波算法的目的是使某個小區(qū)域內(nèi)視差過渡趨于平滑。
基于視差均值濾波的算法步驟如下;
(1) 將稠密候選匹配點(diǎn)以(X1，d)形式存入數(shù)組a;
(2) 將左圖像劃分為N個n×n的區(qū)域(N與n均為整數(shù)，具體劃分可根據(jù)實(shí)際圖像大小進(jìn)行劃分)，然后統(tǒng)計(jì)在每個區(qū)域內(nèi)包含的稠密候選匹配點(diǎn)對數(shù)目。
(3) 分別計(jì)算各區(qū)域內(nèi)的視差均值，記錄超過視差均值的稠密候選匹配點(diǎn)對，并在數(shù)組a中濾除該匹配點(diǎn)對。
(4) 根據(jù)新的候選匹配點(diǎn)對來對左圖像重新進(jìn)行三角剖分。
圖1所示是人物圖像的誤匹配濾波結(jié)果。從以上實(shí)施步驟及實(shí)驗(yàn)結(jié)果(圖1(e)所示)不難看出，傳統(tǒng)視差均值濾波法的主要優(yōu)點(diǎn)是可以在小區(qū)域內(nèi)部誤匹配較少的情況下取得較好的濾波效果，但缺點(diǎn)是不適用于區(qū)域內(nèi)部存在大量誤匹配的情況。
2 基于鄰域視差相關(guān)性的誤匹配濾波法
在實(shí)際應(yīng)用過程中，人們更為注重前景區(qū)域的重建精度。因此，提高前景區(qū)域的匹配精度成為了誤匹配濾波的關(guān)鍵。為了達(dá)到這一目的，本文設(shè)計(jì)了一種針對視差范圍較大且匹配結(jié)果為稠密視差圖的鄰域視差相關(guān)性誤匹配濾波法，通過濾波,并采用鄰域視差值進(jìn)行修正，可以明顯地提高匹配精度。具體算法實(shí)施步驟如下：
(1) 用OTSU法對視差圖進(jìn)行二值化處理,檢測出前景區(qū)域。圖像二值化分割的關(guān)鍵是分割閾值的選取,OTSU法被認(rèn)為是最穩(wěn)定的二值分割方法，能自動選取分割閾值。其算法為：對于初始視差圖，記T為前景與背景的分割閾值，前景點(diǎn)數(shù)占圖像比例為W0,平均灰度為U0；遠(yuǎn)景點(diǎn)數(shù)占圖像比例為W1，平均灰度為U1。則圖像的總平均灰度為：
(2) 將二值化處理結(jié)果存儲在二維數(shù)組b[x][y]中(xy表示該像素所在圖像中的行和列坐標(biāo)),并將前景像素對應(yīng)的b[x][y]值標(biāo)記為1,遠(yuǎn)景像素對應(yīng)值標(biāo)記為0;
(3) 依次判斷視差圖中對應(yīng)像素是否為前景區(qū)域所在像素，即判斷b[x][y]的值，如為1,，則進(jìn)行步驟(4)；否則原始視差圖中的該像素視差值保持不變，同時返回步驟(3)；
(4) 統(tǒng)計(jì)以該像素為中心所在的(3X3)區(qū)域內(nèi)所有像素的視差最大值dmax，視差最小值dmin。設(shè)定一個閾值,判斷條件是否滿足，如滿足條件，則定義該像素視差為可靠視差；如不滿足條件,則定義該像素視差為不可靠視差；
(5) 若該像素視差為可靠視差，則保持該像素視差值不變;若為不可靠視差,則該像素視差d用4，頓填充，同時返回步驟(3)。
(6) 遍歷完所有前景區(qū)域像素后，即可完成初次濾波。
(7) 可根據(jù)實(shí)際結(jié)果判斷是否需要進(jìn)行多次濾波，即在初次濾波后的視差圖基礎(chǔ)上，回到步驟(1)進(jìn)行迭代運(yùn)算。
3 實(shí)驗(yàn)結(jié)果
本文通過攝像機(jī)釆集大視差范圍圖像對,在完成外極線校正的基礎(chǔ)上，采用圖割法進(jìn)行了立體匹配，并對得到的視差圖進(jìn)行三維空間濾波。具體處理結(jié)果如圖1所示。
|
|
|
圖1中，圖1(a)和圖1(b)為經(jīng)過外極線校正的圖像對，視差范圍約為100像素。圖1(c)為采用圖割法進(jìn)行立體匹配的匹配視差圖，從中可以看岀，圖1(c)有較多的誤匹配區(qū)域，在視差圖中表現(xiàn)為誤匹配區(qū)域像素亮度與周圍像素亮度有較大差別，其中較為明顯的是人臉區(qū)域有較多的黑點(diǎn),說明在這些區(qū)域內(nèi)的像素視差值與實(shí)際值相差較大，或?yàn)檎`匹配點(diǎn)。圖1(d)為圖1(c)的二值化圖，其中白色區(qū)域?qū)?yīng)為前景區(qū)域，黑色區(qū)域?yàn)檫h(yuǎn)景區(qū)域。圖1(e)圖為釆用傳統(tǒng)視差均值濾波法濾波后的結(jié)果，由圖不難發(fā)現(xiàn)，某些區(qū)域誤匹配像素的視差并未得到修正,相反，部分區(qū)域誤匹配像素點(diǎn)數(shù)目卻有所增多。圖1(f)是采用本文所設(shè)計(jì)的基于鄰域視差相關(guān)性的三維空間濾波法濾波后的最終視差圖，從圖中發(fā)現(xiàn)，前景區(qū)域已無明顯的誤匹配像素點(diǎn)，證明本文算法對明顯的誤匹配像素視差具有較好的濾除修正效果。
4 結(jié)語
本文從立體視覺實(shí)際應(yīng)用角度出發(fā)，針對視差范圍較大的圖像對,采用圖割法對立體匹配所得到的稠密視差圖進(jìn)行了誤匹配濾波研究。在分析了三維空間濾波法中視差均值濾波法的缺點(diǎn)后，設(shè)計(jì)并實(shí)現(xiàn)了一種針對前景區(qū)域進(jìn)行誤匹配濾波的，基于鄰域視差相關(guān)性的三維空間濾波法，通過誤匹配濾波，明顯地去除并修正了視差圖的誤匹配點(diǎn)，從而提高了視差圖質(zhì)量。
下載文檔
