物聯(lián)網(wǎng)的智能視頻接入終端一高清晰智能相機(jī)的研制與應(yīng)用
掃描二維碼
隨時隨地手機(jī)看文章
引言
智能視頻分析系統(tǒng)(IntelligentVideoSystem,IVS)大多利用計算機(jī)的圖像分析技術(shù)來完成將場景中背景和目標(biāo)分離的任務(wù),并進(jìn)一步完成目標(biāo)分析、追蹤、定位,進(jìn)而進(jìn)行目標(biāo)識別的更復(fù)雜的相關(guān)任務(wù)O隨著嵌入式DSP和FPGA技術(shù)的發(fā)展,在采用高清傳感器取代傳統(tǒng)的攝像機(jī)加圖像板卡的基礎(chǔ)上,取而代之的是具有網(wǎng)絡(luò)接入功能的智能相機(jī)(SmartCameras)。
智能相機(jī)中集成的各種智能視頻分析技術(shù)包括目標(biāo)入侵檢測算法、目標(biāo)跟蹤算法,低照度圖像增強(qiáng)算法、圖像去霧算法等等。同時,每一個智能相機(jī)均可通過自組織的組網(wǎng)技術(shù)連成一體,每一個智能相機(jī)都是一個節(jié)點(diǎn),通過成百上千個智能相機(jī)構(gòu)成一個可以適應(yīng)城市監(jiān)控體系、緊急救援和應(yīng)急聯(lián)動、甚至是戰(zhàn)場環(huán)境分析的分布式智能網(wǎng)格系統(tǒng),從而對目標(biāo)進(jìn)行大范圍的準(zhǔn)確追蹤、定位和識別。
特別指出,利用智能相機(jī)作為終端接入的物聯(lián)網(wǎng)刀系統(tǒng)架構(gòu)和應(yīng)用研究在國內(nèi)外尚不多見。特別是基于視頻分析的智能感知系統(tǒng)的研究在我國的某些領(lǐng)域還屬于空白。因此,本文將探討基于智能相機(jī)的網(wǎng)格物聯(lián)網(wǎng),并將其用于智能交通、預(yù)警、安防、消防、安全生產(chǎn)監(jiān)督管理、航空航天和軍事信息一體化建設(shè)等應(yīng)用中。
通過將多個智能相機(jī)組成的陣列部署在現(xiàn)場,并與設(shè)在相關(guān)載體上的傳感器有機(jī)融合,然后通過實時數(shù)據(jù)采集與分析、監(jiān)視信息的分布式獲取,即可形成全方位、全時域的多維監(jiān)視、預(yù)警和管理體系。
與傳統(tǒng)的基于傳感器架構(gòu)的物聯(lián)網(wǎng)結(jié)構(gòu)不同,使用智能相機(jī)作為接入節(jié)點(diǎn)的嵌入式網(wǎng)格系統(tǒng)具有可重構(gòu)和自組織能力。智能相機(jī)不僅可以把過去需要長時間才能完成的目標(biāo)信息的處理和傳送任務(wù)壓縮到幾分鐘甚至幾秒鐘,還可以通過大規(guī)模節(jié)點(diǎn)部署來有效避免盲區(qū),故為防汛、消防、預(yù)警和應(yīng)急聯(lián)動提供了精確的實時目標(biāo)定位信息。同時,其感知能力也不會因某一節(jié)點(diǎn)的損壞而導(dǎo)致整個監(jiān)測系統(tǒng)的崩潰。
1 智能視頻分析網(wǎng)格節(jié)點(diǎn)
本項目利用智能相機(jī)來作為信息分析系統(tǒng)的接入終端。每一個智能相機(jī)就是一個網(wǎng)格的節(jié)點(diǎn)。智能視頻分析網(wǎng)格節(jié)點(diǎn)如圖1所示,在圖1中,前端視頻采集主要使用面陣可見光CCD或者紅外圖像傳感器來完成視頻信號的釆集,然后輸出數(shù)字信號到視頻編碼板。視頻編碼板使用TI公司的DSP進(jìn)行實時高效的H.264壓縮編碼并作為原始圖像記錄,視頻分析板則把輸入的視頻流通過后續(xù)的TI公司的DSP進(jìn)行相應(yīng)的視頻處理分析。
由于高清智能相機(jī)的強(qiáng)大分析能力和物聯(lián)網(wǎng)結(jié)構(gòu)相對復(fù)雜和信息量大等特點(diǎn),一個系統(tǒng)很可能同時需要視頻的多種處理方式,例如智能交通中的偷、盜、搶和套牌車輛的識別和跟蹤,可能需要分析和識別很多同時在高清晰圖像中出現(xiàn)的其他車輛。因此,需要設(shè)計出可以同時級聯(lián)多達(dá)八塊DSP視頻分析板的設(shè)計方案。各個DSP之間既可以級聯(lián)工作,也可以同時并行工作。
每一塊視頻分析板的底層硬件系統(tǒng)設(shè)計都是一致的,只需給不同板子加載不同的處理算法,便可實現(xiàn)不同的處理功能,例如,第一塊加載夜間低照度圖像增強(qiáng)算法、圖像去霧算法,第二塊可以加載在完成去霧處理后實現(xiàn)目標(biāo)的準(zhǔn)確跟蹤和定位算法,第三塊加載紅外目標(biāo)檢測和跟蹤算法,完成夜視目標(biāo)識別功能等。每一個智能相機(jī)均配備有無線、有線和3G網(wǎng)絡(luò)接口。
2 基于網(wǎng)格的分布式物聯(lián)網(wǎng)技術(shù)框架
傳統(tǒng)物聯(lián)網(wǎng)堂的“技術(shù)體系”框架如圖2所示,它包括感知層技術(shù)、網(wǎng)絡(luò)層技術(shù)、應(yīng)用層技術(shù)和公共技術(shù)。但是,筆者在研究與交流中發(fā)現(xiàn)5〕,許多工程人員在理解“物聯(lián)網(wǎng)的構(gòu)架"時,常常與圖2所示的“技術(shù)框架”混淆在一起。
物聯(lián)網(wǎng)的構(gòu)架應(yīng)當(dāng)是以“服務(wù)”為最終目標(biāo)的、具有網(wǎng)絡(luò)特征的硬件和軟件系統(tǒng)。針對不同行業(yè)而言,其硬件特征和網(wǎng)絡(luò)結(jié)構(gòu)也千差萬別,但其共同的“技術(shù)框架”均可以描述成圖2所示的各類“基本元素”。
因此,與傳統(tǒng)物聯(lián)網(wǎng)不同的是,基于智能視頻的網(wǎng)格物聯(lián)網(wǎng)在具體的應(yīng)用中具有下面幾個優(yōu)點(diǎn):
第一是感知可視化,即通過數(shù)個智能相機(jī)可以生成實時全景圖,以實時觀察監(jiān)控現(xiàn)場的實際情況,系統(tǒng)通過對各個接入節(jié)點(diǎn)信息的分析,自動制定出合理的處置方案。
第二是設(shè)備人工智能化。全自主式具有人工智能分析決策的智能相機(jī)具有數(shù)據(jù)釆集、分析和處理的能力。基于智能視頻的網(wǎng)格物聯(lián)網(wǎng)能將包括人在內(nèi)的場景可視信息相互連接,并允許他們相互通信。新一代網(wǎng)絡(luò)協(xié)議、嵌入式智能芯片技術(shù)和計算機(jī)視覺技術(shù)均可以讓目標(biāo)物體用自己的“大腦”來運(yùn)算和分析。
第三是應(yīng)急救援物資、生產(chǎn)后勤保障準(zhǔn)確化。基于智能視頻的物聯(lián)網(wǎng)可以有效避免后勤工作的盲目性。伴隨著射頻識別技術(shù)、二維條碼技術(shù)和智能傳感技術(shù)的突破,物聯(lián)網(wǎng)無疑能夠為自動獲取“在儲、在運(yùn)、在用”物資信息方面提供靈活的可視性解決方案。在安全生產(chǎn)、應(yīng)急救援等各種活動的全過程中,實現(xiàn)在準(zhǔn)確的地點(diǎn)、準(zhǔn)確的時間向準(zhǔn)確的對象提供數(shù)量適當(dāng)?shù)谋U?/span>,從而避免造成不必要的混亂和浪費(fèi)。
3 基于智能相機(jī)的智能交通環(huán)境監(jiān)視和去霧研究
在構(gòu)建基于網(wǎng)格的嵌入式智能相機(jī)的信息處理系統(tǒng)的基礎(chǔ)上,可以對每一個終端動態(tài)配置其功能,使每一個終端既能獨(dú)立完成自己的任務(wù),又可以協(xié)調(diào)工作。這樣在實際工作中,就可以為不同的智能攝像機(jī)分別配置不同的圖像增強(qiáng)算法來完成大范圍內(nèi)的環(huán)境監(jiān)視和目標(biāo)識別任務(wù)。在本項目首先針對某些地區(qū)的多霧情況開展研究。
眾所周知,在惡劣天氣條件下(如霧,雨等),大氣能見度下降,致使光學(xué)器材獲取的圖像對比度下降,從而影響圖像中的信息提取E,霧這種常見的天氣現(xiàn)象會對景物產(chǎn)生白化作用3也,故會使圖像退化,以至模糊,而這將給軍事偵察、自動導(dǎo)航、目標(biāo)跟蹤等帶來很大的困難。因此對這種自然現(xiàn)象引起的圖像質(zhì)量下降開展圖像信號處理的研究具有普遍的實際意義。
圖像去霧就是采用一定的方法和策略對采集到的含有霧的圖像進(jìn)行處理,從中恢復(fù)出比較清晰的圖像。去霧算法的研究,對于部署基于智能相機(jī)的網(wǎng)格監(jiān)控系統(tǒng)具有比較重要的應(yīng)用價值,同時,對沿海和相關(guān)地域的應(yīng)用也具有較高的指導(dǎo)意義。
3.1 基于暗通道先驗規(guī)律的去霧算法
在有霧天氣下,監(jiān)控系統(tǒng)捕獲場景圖像的顏色和對比度都會發(fā)生嚴(yán)重的降質(zhì)。這種現(xiàn)象主要是由大氣粒子的散射作用引起的。大氣散射的物理本質(zhì)是高度復(fù)雜的,在不考慮大氣擾動等現(xiàn)象發(fā)生時,可以假設(shè)此時的天氣條件(包括大氣粒子的類型、密度等情況)是空間不變的,這樣,到達(dá)感光器的光強(qiáng)就可以簡單的等效成大氣衰減后的場景輻射和因大氣懸浮粒子的散射作用而進(jìn)入傳感器的環(huán)境光強(qiáng)兩部分的線性組合。
霧圖形成模型在計算機(jī)視覺和計算機(jī)圖形中被廣泛應(yīng)用。霧越濃,介質(zhì)的透過率越小,到達(dá)傳感器的光強(qiáng)中實際的場景輻射衰減的就越嚴(yán)重。利用這個模型可通過求得全局大氣光和介質(zhì)的透射率來從一幅含霧圖像中恢復(fù)出原始的清晰圖片,即場景輻射。
3.2 局部暗通道先驗規(guī)律
局部暗通道先驗規(guī)律是有關(guān)文獻(xiàn)提出的一個統(tǒng)計規(guī)律,該規(guī)律假定在不包含天空區(qū)域的戶外無霧圖像情況下,對于任何一個像素點(diǎn),在它周圍的范圍內(nèi),至少有一個顏色通道具有很低的亮度值,而對每一個像素點(diǎn),都以這樣一個最小值來取代其本身的亮度,于是便可以得到暗通道圖。大量統(tǒng)計數(shù)據(jù)表明,除了天空方位,戶外無霧圖像的各個像素點(diǎn)的強(qiáng)度總是很低,并且趨近于0,這就是暗通道先驗規(guī)律。
3.3 估計全局大氣光
考慮到原始輸入圖像,在這N個位置所對應(yīng)的像素點(diǎn)中分別求得紅色,綠色,藍(lán)色分量的最大值。它們就組成了全局大氣光(Ar,Ag,Ab)o在這個方法中,A的三個顏色通道的亮度值并不單一的來自原始輸入圖像中的某一個像素點(diǎn),而更多時候,它們分別來自三個不同的像素點(diǎn),于是能在一定程度上避免將原始輸入圖像中的白色物體誤選為全局大氣光。
3.4 實驗結(jié)果分析
釆用文獻(xiàn)[11]的方法可以指導(dǎo)我們進(jìn)行去霧算法的研究,并將實驗成功的算法移植到智能相機(jī)上。其實驗結(jié)果如圖3所示,圖3(a)是去霧前的城市的照片,圖3(b)是去霧后的照片。圖3(c)是去霧前海面的照片,圖3(d)是去霧后的海面照片。從實驗結(jié)果看,去霧算法的效果非常明顯。
設(shè)計的最終目標(biāo)是將各類圖像處理算法移植到智能相機(jī)里,這樣一來,各個相機(jī)作為終端節(jié)點(diǎn)就可以更有效的接入到整個系統(tǒng)中。圖4所示為本文研制的智能相機(jī)的部分硬件系統(tǒng)實物圖,其中圖4(a)是200百萬像素CCD成像板背面,圖4(b)是200百萬像素CCD成像板正面,圖4(c)?(d)是圖像處理板的背面和正面實物圖。
筆者目前已經(jīng)成功地研制了高清晰智能相機(jī)的系列產(chǎn)品,并具有全部知識產(chǎn)權(quán)。圖5(a)所示是一款樣機(jī)。圖5(b)是其內(nèi)部結(jié)構(gòu)。圖5(c)是利用智能相機(jī)上的Web服務(wù)器通過網(wǎng)絡(luò)瀏覽器看到的實驗室外面建筑物的外墻的高清晰圖像。在長距離成像的條件下(200m),可以清晰地看到外墻上的斑點(diǎn)和窗戶護(hù)欄的銹跡。
圖6所示是針對智能相機(jī)開發(fā)的智能交通車牌識別算法和實際應(yīng)用。
圖6中給出了利用DSP算法實現(xiàn)的智能交通中的車牌監(jiān)測的試驗結(jié)果。實際的算法已經(jīng)在智能相機(jī)中實現(xiàn)并應(yīng)用到具體的工程中。針對200百萬像素的圖像,該系統(tǒng)可以檢測出多達(dá)數(shù)十個位于多車道中的車牌信息。圖6中的圖像拍攝于西安電子科技大學(xué)北校門外的二環(huán)路上,拍攝時間是2009年5月8日,筆者將多個車牌粘貼在圖像上進(jìn)行智能相機(jī)的性能測試,多個車牌的亮度、對比度、色度等參數(shù)都根據(jù)不同的天氣情況進(jìn)行了調(diào)整。從圖中可以明顯地看出位于樹木、車體等復(fù)雜背景下的車牌均可被準(zhǔn)確的定位出來。在圖6中,只有一個最黑的車牌沒有被定位出來。
4 結(jié)論
基于嵌入式智能相機(jī)的物聯(lián)網(wǎng)研究在國內(nèi)外尚不多見。對嵌入式智能相機(jī)的研究,不僅可為傳統(tǒng)的物聯(lián)網(wǎng)接入提供一個新的數(shù)據(jù)接入形式,而且可以使接入終端具有動態(tài)可重構(gòu)的新功能。以智能相機(jī)為接入終端來研究物聯(lián)網(wǎng)構(gòu)建過程中的新型網(wǎng)格結(jié)構(gòu)和安全策略,可以為研究物聯(lián)網(wǎng)的數(shù)據(jù)安全引入一個新的思路。
在積極推進(jìn)智能相機(jī)的產(chǎn)業(yè)化工作的同時,應(yīng)當(dāng)積極推進(jìn)基于智能相機(jī)作為接入終端的物聯(lián)網(wǎng)的行業(yè)應(yīng)用,并應(yīng)在風(fēng)力發(fā)電、新能源、低碳經(jīng)濟(jì)模式等領(lǐng)域積極開展多方合作。
本文所討論的研究成果對相關(guān)領(lǐng)域的研究和應(yīng)用都具有比較重要的價值。