Imagination嵌入式視覺應(yīng)用發(fā)展
受訪人:Imagination Technologies多媒體技術(shù)市場營銷總監(jiān)Peter McGuinness
1. 問:一般來說,嵌入式視覺涉及廣泛的各種應(yīng)用。你認(rèn)為有哪些市場特別適合嵌入式視頻應(yīng)用?
答:市場對嵌入式視頻產(chǎn)品有巨大需求,而且正持續(xù)成長——同時,下一代的電腦視頻技術(shù)已為各種廣泛的新型應(yīng)用奠定基礎(chǔ),從汽車和安全、到消費(fèi)類電子與零售等各行業(yè)等都涵蓋在內(nèi)。
歸功于低功耗并行處理器的廣泛應(yīng)用、3D傳感器的日漸普及,以及活躍的算法開發(fā)人員生態(tài)系統(tǒng),現(xiàn)在,很多嵌入式設(shè)備都能夠以按需的方式來分析環(huán)境,或是保持連線狀態(tài),隨時進(jìn)行環(huán)境資料的感應(yīng)獲取。
嵌入式視頻的消費(fèi)類應(yīng)用案例包括運(yùn)算攝影學(xué)、增強(qiáng)現(xiàn)實、手勢控制和場景理解(scene understanding)。今天,很多手機(jī)都能通過偵測臉部來自動調(diào)整相機(jī)焦距與曝光。
在汽車市場,為電動車增加電腦視覺功能可減少并避免意外事件的發(fā)生。今天,許多制造商可提供先進(jìn)駕駛輔助系統(tǒng)(ADAS),采用視覺數(shù)據(jù)以及雷達(dá)和LIDAR(光達(dá))等傳統(tǒng)技術(shù)來實現(xiàn)盲點(diǎn)偵測、行人偵測與自動緊急剎車等重要的安全功能。汽車制造商已開始在快速擴(kuò)展的安全應(yīng)用中采用基于相機(jī)的技術(shù)。Mobileye這類的芯片廠商正在開發(fā)專屬的解決方案,能夠即時“解讀”場景,并為駕駛員提供基于分析結(jié)果的立即評估。
在監(jiān)控市場,為安全攝影機(jī)增加嵌入式視覺功能可降低CCTV廠商的成本,并提高可靠度。例如,通過使用先進(jìn)的人群分析算法,通過偵測人群中走路行為的細(xì)微改變,可找出隱藏武器等物品的存在。
在消費(fèi)類市場,像Nest公司開發(fā)的安全產(chǎn)品,它能在偵測到家中有人影走動時通過智能手機(jī)通知使用者,并能過濾掉墻上陰影移動或窗外樹木搖晃等不重要的信息。
在超市這類一直依賴支付和商店會員卡來追蹤消費(fèi)者行為的零售環(huán)境中,也開始利用電腦視覺來發(fā)掘新的客戶商機(jī)。Vadaro等廠商開發(fā)的零售攝影機(jī)能辨認(rèn)出商店里的客人是新客戶還是老顧客,估算他們的年齡、性別、逗留時間以及關(guān)注的產(chǎn)品。除了為零售廠商和廣告商提供有價值的反饋之外,這些攝影機(jī)還能通過計算排隊人數(shù)等自動操作方式來提升客戶服務(wù)。
2. 問:此外,您可提供哪些IP解決方案來滿足嵌入式視覺設(shè)計的市場需求?
答:通常,視頻應(yīng)用處理器會包括:用來獲取圖像傳感器數(shù)據(jù)的圖像信號處理器(ISP)、可有效運(yùn)行像素數(shù)據(jù)平行運(yùn)算的向量處理器,如GPU以及用來制定高端決策的CPU。一臺傳感器融合設(shè)備會進(jìn)一步將視覺處理與雷達(dá)、超聲波、聲納和LIDAR等互補(bǔ)技術(shù),以及來自指南針、加速器和輪型光學(xué)編碼器等數(shù)據(jù)輸入結(jié)合在一起。
Imagination可提供所有所需的硬件元件,來打造新型的高效視覺產(chǎn)品,包括:
· 圖像信號處理器:PowerVR Raptor ISP能運(yùn)行許多通用的圖像預(yù)處理操作,包括噪音消除和色值標(biāo)準(zhǔn)化。
· 向量處理器(GPU):PowerVR GPU是高性能的向量處理器,能以低功耗有效運(yùn)行許多的數(shù)據(jù)平行運(yùn)算。例如,百度的工程師可在一臺內(nèi)置Imagination-based聯(lián)發(fā)科SoC的手機(jī)中,將卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network)從CPU卸載到PowerVR GPU,以提升匹配性能并延長手機(jī)的電池壽命,從數(shù)小時到一天都不用充電。
· 加速器:除了支持高效的向量處理,PowerVR GPU還能提供多個硬件加速器,包括紋理處理單元(TPU)和色域轉(zhuǎn)換單元,這些都能被視覺算法所運(yùn)用。
3. 問:市場上有各種嵌入式視覺系統(tǒng)解決方案,包括DSP、GPU和FPGA。您認(rèn)為哪一種比較好?
答:沒有一種解決方案是比較好的,它們各有不同的目標(biāo)市場與應(yīng)用。然而,隨著視覺應(yīng)用在消費(fèi)市場逐漸成熟,我們預(yù)期,除了你提到的這些技術(shù)之外,將會有更多最優(yōu)化、且專門的解決方案出現(xiàn)。