立體視覺中大視差圖像誤匹配濾波研究
引言
立體視覺技術(shù)可廣泛地應(yīng)用于視覺導(dǎo)航、目標(biāo)檢測與跟蹤、目標(biāo)測量、目標(biāo)識別、工業(yè)控制以及三維場景感知等場合,而立體視覺中的立體匹配是立體視覺研究領(lǐng)域的重點(diǎn)和難點(diǎn)問題,立體匹配結(jié)果的好壞直接決定三維重建的效果和精度。目前,經(jīng)過多年的研究,已有多種立體匹配算法能夠獲得比較好的稠密視差圖。其中,比較有代表性的匹配算法有基于動態(tài)規(guī)劃的立體匹配算法、圖割法、置信度傳播算法等過。但上述匹配算法在處理實(shí)際釆集的大視差范圍圖像時,由于光照條件、噪聲干擾或遮擋等因素,往往會造成匹配結(jié)果存在較多誤匹配,影響了重建效果。因此,對稠密視差圖進(jìn)行誤匹配濾波顯得非常必要。通過誤匹配濾波,可以明顯地去除誤匹配像素,并可通過鄰域視差值填充或線性插值的方法對像素視差值進(jìn)行修正,從而達(dá)到提高三維重建精度的目的。
目前,立體視覺系統(tǒng)中的誤匹配濾波方法包括兩大部分,即基于二維空間的濾波和基于三維空間的濾波。前者主要針對稀疏匹配后的匹配點(diǎn)進(jìn)行濾波,其算法主要包括灰度均衡算法、互相關(guān)算法、最小中值平均方法和松弛迭代法等;后者主要針對稠密匹配后的匹配點(diǎn)進(jìn)行濾波,算法主要有視差均值濾波法、基于真實(shí)控制點(diǎn)的視差濾波法㈤等。針對稠密視差圖,本文在分析了視差均值濾波法的缺點(diǎn)后,設(shè)計(jì)并實(shí)現(xiàn)了一種重點(diǎn)針對視差圖前景區(qū)域的三維空間濾波法,通過這種誤匹配濾波,可以明顯地去除前景區(qū)域的誤匹配點(diǎn)。
1 視差均值濾波法
誤匹配在三維重建中表現(xiàn)為光滑物體表面上有明顯的凹凸存在,即視差或距離深度值有突變。傳統(tǒng)針對稠密匹配的誤匹配濾波的典型算法主要是視差均值濾波法,該算法的依據(jù)是光滑物體表面上對應(yīng)點(diǎn)的視差變化是連續(xù)的,即光滑表面上的視差值不會有太大突變。該濾波算法的目的是使某個小區(qū)域內(nèi)視差過渡趨于平滑。
基于視差均值濾波的算法步驟如下;
(1) 將稠密候選匹配點(diǎn)以(X1,d)形式存入數(shù)組a;
(2) 將左圖像劃分為N個n×n的區(qū)域(N與n均為整數(shù),具體劃分可根據(jù)實(shí)際圖像大小進(jìn)行劃分),然后統(tǒng)計(jì)在每個區(qū)域內(nèi)包含的稠密候選匹配點(diǎn)對數(shù)目。
(3) 分別計(jì)算各區(qū)域內(nèi)的視差均值,記錄超過視差均值的稠密候選匹配點(diǎn)對,并在數(shù)組a中濾除該匹配點(diǎn)對。
(4) 根據(jù)新的候選匹配點(diǎn)對來對左圖像重新進(jìn)行三角剖分。
圖1所示是人物圖像的誤匹配濾波結(jié)果。從以上實(shí)施步驟及實(shí)驗(yàn)結(jié)果(圖1(e)所示)不難看出,傳統(tǒng)視差均值濾波法的主要優(yōu)點(diǎn)是可以在小區(qū)域內(nèi)部誤匹配較少的情況下取得較好的濾波效果,但缺點(diǎn)是不適用于區(qū)域內(nèi)部存在大量誤匹配的情況。
2 基于鄰域視差相關(guān)性的誤匹配濾波法
在實(shí)際應(yīng)用過程中,人們更為注重前景區(qū)域的重建精度。因此,提高前景區(qū)域的匹配精度成為了誤匹配濾波的關(guān)鍵。為了達(dá)到這一目的,本文設(shè)計(jì)了一種針對視差范圍較大且匹配結(jié)果為稠密視差圖的鄰域視差相關(guān)性誤匹配濾波法,通過濾波,并采用鄰域視差值進(jìn)行修正,可以明顯地提高匹配精度。具體算法實(shí)施步驟如下:
(1) 用OTSU法對視差圖進(jìn)行二值化處理,檢測出前景區(qū)域。圖像二值化分割的關(guān)鍵是分割閾值的選取,OTSU法被認(rèn)為是最穩(wěn)定的二值分割方法,能自動選取分割閾值。其算法為:對于初始視差圖,記T為前景與背景的分割閾值,前景點(diǎn)數(shù)占圖像比例為W0,平均灰度為U0;遠(yuǎn)景點(diǎn)數(shù)占圖像比例為W1,平均灰度為U1。則圖像的總平均灰度為:
(2) 將二值化處理結(jié)果存儲在二維數(shù)組b[x][y]中(xy表示該像素所在圖像中的行和列坐標(biāo)),并將前景像素對應(yīng)的b[x][y]值標(biāo)記為1,遠(yuǎn)景像素對應(yīng)值標(biāo)記為0;
(3) 依次判斷視差圖中對應(yīng)像素是否為前景區(qū)域所在像素,即判斷b[x][y]的值,如為1,,則進(jìn)行步驟(4);否則原始視差圖中的該像素視差值保持不變,同時返回步驟(3);
(4) 統(tǒng)計(jì)以該像素為中心所在的(3X3)區(qū)域內(nèi)所有像素的視差最大值dmax,視差最小值dmin。設(shè)定一個閾值,判斷條件
是否滿足,如滿足條件,則定義該像素視差為可靠視差;如不滿足條件,則定義該像素視差為不可靠視差;
(5) 若該像素視差為可靠視差,則保持該像素視差值不變;若為不可靠視差,則該像素視差d用4,頓填充,同時返回步驟(3)。
(6) 遍歷完所有前景區(qū)域像素后,即可完成初次濾波。
(7) 可根據(jù)實(shí)際結(jié)果判斷是否需要進(jìn)行多次濾波,即在初次濾波后的視差圖基礎(chǔ)上,回到步驟(1)進(jìn)行迭代運(yùn)算。
3 實(shí)驗(yàn)結(jié)果
本文通過攝像機(jī)釆集大視差范圍圖像對,在完成外極線校正的基礎(chǔ)上,采用圖割法進(jìn)行了立體匹配,并對得到的視差圖進(jìn)行三維空間濾波。具體處理結(jié)果如圖1所示。
|
![]() |
圖1中,圖1(a)和圖1(b)為經(jīng)過外極線校正的圖像對,視差范圍約為100像素。圖1(c)為采用圖割法進(jìn)行立體匹配的匹配視差圖,從中可以看岀,圖1(c)有較多的誤匹配區(qū)域,在視差圖中表現(xiàn)為誤匹配區(qū)域像素亮度與周圍像素亮度有較大差別,其中較為明顯的是人臉區(qū)域有較多的黑點(diǎn),說明在這些區(qū)域內(nèi)的像素視差值與實(shí)際值相差較大,或?yàn)檎`匹配點(diǎn)。圖1(d)為圖1(c)的二值化圖,其中白色區(qū)域?qū)?yīng)為前景區(qū)域,黑色區(qū)域?yàn)檫h(yuǎn)景區(qū)域。圖1(e)圖為釆用傳統(tǒng)視差均值濾波法濾波后的結(jié)果,由圖不難發(fā)現(xiàn),某些區(qū)域誤匹配像素的視差并未得到修正,相反,部分區(qū)域誤匹配像素點(diǎn)數(shù)目卻有所增多。圖1(f)是采用本文所設(shè)計(jì)的基于鄰域視差相關(guān)性的三維空間濾波法濾波后的最終視差圖,從圖中發(fā)現(xiàn),前景區(qū)域已無明顯的誤匹配像素點(diǎn),證明本文算法對明顯的誤匹配像素視差具有較好的濾除修正效果。
4 結(jié)語
本文從立體視覺實(shí)際應(yīng)用角度出發(fā),針對視差范圍較大的圖像對,采用圖割法對立體匹配所得到的稠密視差圖進(jìn)行了誤匹配濾波研究。在分析了三維空間濾波法中視差均值濾波法的缺點(diǎn)后,設(shè)計(jì)并實(shí)現(xiàn)了一種針對前景區(qū)域進(jìn)行誤匹配濾波的,基于鄰域視差相關(guān)性的三維空間濾波法,通過誤匹配濾波,明顯地去除并修正了視差圖的誤匹配點(diǎn),從而提高了視差圖質(zhì)量。