汽車、機(jī)器視覺和邊緣AI中要用到的感知策略和方案
文章來源:電子工程專輯
作者:劉于葦
汽車行業(yè),是一個(gè)非常傳統(tǒng)的行業(yè),但最近幾年由于電力化和智能化,使這個(gè)行業(yè)產(chǎn)生了新的動力。特別是各種感知產(chǎn)品的應(yīng)用,使汽車變得更加安全和舒適;
機(jī)器視覺也是一個(gè)很歷史悠久的行業(yè),因?yàn)楣I(yè)4.0時(shí)代,再加上自動化、人工智能的導(dǎo)入,使這個(gè)行業(yè)有了新的動力、新的活力;
邊緣人工智能則是新興市場,主要是由人工智能、5G、IoT等新技術(shù)導(dǎo)入后開發(fā)出新的應(yīng)用。
從第一次工業(yè)革命機(jī)械化,到第二次工業(yè)革命電力化,到第三次工業(yè)革命計(jì)算機(jī)數(shù)字化,到現(xiàn)在第四代工業(yè)革命人工智能化、信息化。人工智能對人類社會方方面面的影響和改變,將遠(yuǎn)遠(yuǎn)超過計(jì)算機(jī)數(shù)字工業(yè)革命。
“人工智能之父”Andrew Ng是斯坦福大學(xué)人工智能專家,他認(rèn)為人工智能就像第二次工業(yè)革命的電力,將給整個(gè)人類帶來的一次深入的變革。數(shù)據(jù)則是人工智能的動力和發(fā)動機(jī),感知是數(shù)據(jù)的燃料。
“汽車、機(jī)器視覺和邊緣人工智能,這也是我們的三個(gè)主要市場方向?!?安森美半導(dǎo)體智能感知部全球市場和應(yīng)用工程副總裁易繼輝說到,“我們在包括圖像感知、多光譜/高光譜感知、激光雷達(dá)感知、毫米波雷達(dá)感知、傳感器融合等深度感知領(lǐng)域做了很大投入,來推動AI和第四次工業(yè)革命的進(jìn)步。”
安森美半導(dǎo)體智能感知部全球市場和應(yīng)用工程副總裁 易繼輝(Sammy Yi)
汽車感知面臨的挑戰(zhàn)和機(jī)遇
未來的汽車,是一個(gè)架在四個(gè)輪子上、具有極其強(qiáng)有力的感知能力的計(jì)算機(jī)。從過去這些年我們可以發(fā)現(xiàn),現(xiàn)在最好的汽車感知系統(tǒng)已經(jīng)遠(yuǎn)遠(yuǎn)超過人類的感知,能夠?qū)崟r(shí)、不知疲倦地監(jiān)控周圍環(huán)境,這是人類駕駛員遠(yuǎn)做不到的。
鑒于汽車感知能力的提升、自動駕駛技術(shù)的日益完善以及共享汽車等新模式的出現(xiàn),現(xiàn)在汽車的可靠性已經(jīng)不僅僅要求像現(xiàn)在這樣一天開兩三個(gè)小時(shí),多數(shù)時(shí)間停在車庫里了,而是大多數(shù)時(shí)間都在開,只有一兩個(gè)小時(shí)去充電、做維修。然后還有對汽車自動駕駛功能安全,以及網(wǎng)絡(luò)安全的要求。
這些新要求,也為汽車成像帶來了很多挑戰(zhàn)。
01
一是寬動態(tài),在強(qiáng)光下或從暗到亮,如果寬動態(tài)不夠,可能根本沒有辦法看到;
02
二是環(huán)境條件,車要能在東北零下幾十度的環(huán)境開,也能夠在沙漠開或者南方高溫條件下開;
03
三是對圖像傳感器來說很獨(dú)特的挑戰(zhàn),辨別各種LED指示牌、交通燈,這種LED牌對人眼來講非常舒服,特別是夜晚很明亮,但LED閃爍頻率沒有標(biāo)準(zhǔn),圖像傳感器有時(shí)會因?yàn)轭l率不同步,捕捉不到信號。對駕駛員人眼來看沒有太大問題,但對機(jī)器視覺就是很大的挑戰(zhàn)。
“過去的方案都是用軟件來解決,現(xiàn)在已經(jīng)做到芯片級的硬件解決方案了?!?易繼輝說到。
上圖是一個(gè)圖像傳感器的示意圖,一共有六層,都是由半導(dǎo)體制成。
易繼輝認(rèn)為,市場上有一個(gè)誤區(qū),認(rèn)為GPU和CPU是半導(dǎo)體里挑戰(zhàn)性和難度最高的,但實(shí)際上圖像傳感器才是最難的。
因?yàn)椤癎PU和CPU要對付的主要是電子(Electron),但在圖像傳感器里,既要對付電子又要對付光子,光子和電子的結(jié)合使圖像傳感器變成非常復(fù)雜的半導(dǎo)體。未來甚至人工智能都可以直接放在圖像傳感器里?!?
上圖解釋了為什么寬動態(tài)非常重要。左邊是寬動態(tài)不好的情況下,照顧了暗的部分,亮的部分就看不見了。
而右邊在寬動態(tài)好的情況下,暗的亮的都看得清楚,這才能夠給人工智能算法提供準(zhǔn)確和全面的信息,做出準(zhǔn)確和安全的判斷。
大家也經(jīng)常碰到對面來車開遠(yuǎn)光燈的情況,十分討厭。如果車燈在這個(gè)場景下的寬動態(tài)范圍是102dB,而傳感器只有70dB,可能就看不到來車旁邊的行人或物體,導(dǎo)致車禍。
這時(shí)候用110dB的傳感器就可以避免這場悲劇。另外在幾乎沒有燈的夜視場景下,是否有搭載近紅外+(NIR+)技術(shù),對于夜間行車是一個(gè)是看得見,一個(gè)是看不見的天壤之別。
智能駕駛艙也是目前國內(nèi)越來越重視的一個(gè)應(yīng)用。
駕駛員監(jiān)控的應(yīng)用越來越廣泛,包括駕駛員的識別,分辨出這是先生還是太太后自動調(diào)節(jié)車椅、后視鏡的位置,空調(diào)的溫度,甚至喜歡的電臺都可以自動調(diào)整;
乘客監(jiān)控也有不少應(yīng)用,例如在美國經(jīng)常出現(xiàn)家長把小孩或者寵物忘在車?yán)锪?,借助乘客監(jiān)控,你離開車后會自動提醒你在車?yán)锿浟耸裁礀|西。
據(jù)介紹,針對智能駕駛艙解決方案,安森美半導(dǎo)體有兩款百萬像素的IVEC模組,在業(yè)界非常受歡迎,其中AR0144AT是整個(gè)業(yè)界用量是最大的一款。
智能駕駛艙普遍面臨的設(shè)計(jì)挑戰(zhàn)是,目前的攝像頭尺寸太大了——18×18cm3,最小的也要3×3cm3,“我們和合作伙伴一起開發(fā)了0.5×0.5cm3的小型攝像頭,放在車?yán)锍丝?、駕駛員基本上都不會看得到?!币桌^輝說到。
成立6年,卻有40年的“內(nèi)功”?
易繼輝表示,安森美半導(dǎo)體不只提供單一產(chǎn)品,還提供包括二極管、LDO、電源管理IC在內(nèi)的硬件整體方案。
所以在設(shè)計(jì)下一代圖像處理器時(shí),可以和公司其他產(chǎn)品部門合作開發(fā)配套的電子產(chǎn)品、器件,使攝像頭性能最優(yōu)化。
據(jù)介紹,安森美半導(dǎo)體其他元器件的車規(guī)、功能安全已經(jīng)能夠實(shí)現(xiàn)ASIL-B程度,所有元器件都按照公司統(tǒng)一的質(zhì)量體系,擁有統(tǒng)一的可靠性能。
安森美半導(dǎo)體目前已經(jīng)開發(fā)超過50家合作伙伴,從光學(xué)鏡片到信號處理器,I/O、Interface接口、SoC處理器、軟件系統(tǒng)。
據(jù)介紹,盡管安森美半導(dǎo)體的智能感知部成立只有六年,但公司在圖像傳感器行業(yè)卻已經(jīng)有超過40年的歷史。
主要通過幾次重要戰(zhàn)略性并購茁壯成長,例如:前身是柯達(dá)影像的TRUESENSE,核心技術(shù)來源于貝爾實(shí)驗(yàn)室CCD影像;前身是美國航天宇航局JPL噴氣式推動器實(shí)驗(yàn)室的Aptina,1993年曾為阿波羅登月開發(fā)出全球首款CMOS圖像傳感器。
從三年前開始,安森美半導(dǎo)體又陸續(xù)收購了IBM在以色列的毫米波雷達(dá)研發(fā)中心,以及專注于飛行時(shí)間(ToF)激光雷達(dá)傳感器開發(fā)的愛爾蘭公司SensL。
根據(jù)日本第三方市場調(diào)研公司TSR(Techno Systems Research)的調(diào)研結(jié)果,圖像傳感器在汽車領(lǐng)域主要分為兩個(gè)市場——汽車成像和汽車感知。
汽車成象應(yīng)用主要是給人眼看的,如駕駛員、乘客、后視、環(huán)視、電子后視鏡,安森美半導(dǎo)體在全球占大于60%的市場份額;
汽車感知?jiǎng)t是給人工智能和機(jī)器視覺用的感知系統(tǒng),安森美半導(dǎo)體在這個(gè)市場占有率大于80%,并在逐年擴(kuò)大。
易繼輝透露,安森美半導(dǎo)體2019年在汽車市場銷售了近一億顆傳感器,而全球汽車銷售量在6,500萬輛。
中國的自動駕駛
中國國內(nèi)自動駕駛分級和國外基本接近,都是六級,從L0到L5級別逐漸提高,自動化程度逐步擴(kuò)大。
最大的分界點(diǎn)是從L3到L4,主要區(qū)別在于L3在一些極限場景下需要駕駛員自己來操控,L4理論上駕駛員完全不需要操控,全是由機(jī)器來操作。
簡單地講,
1
L1、L0是什么都沒有,L1英文叫做脫腳(feet off),腳可以不踩油門剎車了;
2
L2是脫手(hands off),手可以放開駕駛方向盤;
3
L3是eyes off,駕駛員的眼睛可以不用看了,只是汽車給你警告時(shí)要轉(zhuǎn)回來;
4
第四級是mind off,腦子都不用想了,因?yàn)檫B方向盤都沒有了;
5
第五級叫做limit off,已經(jīng)沒有任何局限的場景,任何場景都可以自動駕駛了
從L1到L5,不管是傳感器數(shù)量還是種類都不斷地?cái)U(kuò)大增加。最大的差別是L3和L4之間,L4一定需要激光雷達(dá),而L3很多公司都不會用激光雷達(dá),只作為一個(gè)可選項(xiàng)參考,因?yàn)樗某杀痉浅8?。這也是過去業(yè)界討論后的結(jié)果。至于自動駕駛是從L3逐步演變到L4,還是直接跳到L4?
另外,電動汽車充電樁也是安森美半導(dǎo)體的碳化硅戰(zhàn)略市場之一。充電樁實(shí)現(xiàn)的方案有很多種,現(xiàn)在消費(fèi)者最感興趣的就是直流快充。直流快充的充電樁需要非常大的充電功率以及非常高的充電效率,這些都需要通過高電壓來實(shí)現(xiàn)。
最主要的原因是L3中駕駛員仍然需要控制汽車,極限場景下還是要靠人。所以不光在自動化設(shè)計(jì)的程度上,還是感知數(shù)量和種類的應(yīng)用上,都要考慮到成本的問題,人工智能算法、計(jì)算平臺都是為了有局限性的自動駕駛,而不是所有場景。
L4因?yàn)橥耆恍枰紤]到駕駛員,所以一定要用激光雷達(dá)和高清地圖。這是兩個(gè)完全不一樣的平臺,L3就像加減法,L4是微積分:加減法永遠(yuǎn)算不出極限,只有微積分才能算出它的極限值,也就是在L4的情況下,才能涵蓋所有極限的情況。
從國內(nèi)自動駕駛的趨勢來看,國內(nèi)一些整車廠推出的高端品牌車上,已經(jīng)有L2、L3的功能。跟國外有一點(diǎn)不同的是,國外特別是歐洲的L2、L3也就是先進(jìn)駕駛輔助系統(tǒng)(ADAS)的大批量使用和成長,是由法規(guī)和安全標(biāo)準(zhǔn)驅(qū)動的,而不是由消費(fèi)者或車廠驅(qū)動。
目前,國內(nèi)沒有相應(yīng)的法規(guī)和安全標(biāo)準(zhǔn)來要求,車廠主要精力放在創(chuàng)造自己的技術(shù)和品牌效應(yīng),但消費(fèi)者接受程度還不統(tǒng)一。在美國就完全不一樣,有時(shí)候車主對汽車自動駕駛太相信了,L2的車當(dāng)L4用,也因此發(fā)生了不少車禍。
對于L4、L5自動駕駛,易繼輝認(rèn)為現(xiàn)在落地的商業(yè)模式已經(jīng)很清晰,“以前一開始以B2C的形式走消費(fèi)類私家車,但現(xiàn)在國外很多整車廠的一些私家車L4項(xiàng)目或者是暫緩,或者是已經(jīng)停下來了。現(xiàn)在基本上是走B2B,先以商業(yè)車的模式來落地。”
原因是目前智能感知系統(tǒng)成本非常高,只有商業(yè)車才能承受得這樣的成本,私家車一天開兩個(gè)小時(shí),平時(shí)放在車庫,是完全沒有辦法支付成本的。
01
一是自動駕駛的出租車(Robotaxi),國內(nèi)發(fā)展的速度非???,完全不輸美國,而且國內(nèi)的很多自動駕駛車廠都是同時(shí)在美國拿到了許可證,且在中國和美國兩地都有研發(fā)中心。
結(jié)合《電子工程專輯》過去的報(bào)道看,國內(nèi)現(xiàn)在已經(jīng)有18個(gè)城市簽發(fā)了自動駕駛許可證,將近500輛全自動駕駛的出租車在路上測試,光百度就有將近200輛。
02
二是物流機(jī)器人,在新冠狀病毒疫情以后,物流機(jī)器人的應(yīng)用越來越普及,特別是在一些小區(qū)、校園、工業(yè)園區(qū)、醫(yī)院、機(jī)場。
03
三是大型商業(yè)車,因?yàn)楦咚偕虾芏鄲盒允鹿识际谴筌囋斐傻?,特別是駕駛員的疲勞。傳感器裝上后可以360度實(shí)時(shí)監(jiān)控,感知能力不亞于駕駛員,所以商用車自動駕駛已經(jīng)逐步開始。
易繼輝稱根據(jù)市場調(diào)查結(jié)果顯示,安森美半導(dǎo)體在這個(gè)領(lǐng)域的市場份額是80%,在中國市場更是占了90%。
工業(yè)機(jī)器視覺和邊緣人工智能
隨著工業(yè)4.0和自動化的深入,人工智能使機(jī)器視覺市場快速發(fā)展,邊緣人工智能不斷應(yīng)用在一些新領(lǐng)域,比如新零售,智慧農(nóng)業(yè)、畜牧業(yè)和農(nóng)業(yè)都開始了智能化。
而新冠疫情后更是出現(xiàn)了幾大趨勢,一是遠(yuǎn)程化,遠(yuǎn)程教學(xué)、遠(yuǎn)程醫(yī)療會越來越普遍;二是無人化,例如無人送貨車、無人商店,減少人和人之間的接觸,即無接觸化。
說到工業(yè)機(jī)器視覺,就不得不提平板檢測,它是對圖像傳感器最有挑戰(zhàn)性的應(yīng)用。尤其是近些年,從1K、2K、4K一直到8K,像素在逐漸擴(kuò)大。
檢測過程分兩步:第一步是暗檢測,上電前主要檢測一些指紋、劃痕和其他物理上的問題;第二步是上電以后對像素點(diǎn)的檢測,特別是針對OLED和最新的AMOLED(Active Matrix OLED)。
眾所周知,LED有一個(gè)亮板在后面作為發(fā)光源,而OLED的每個(gè)像素都是一個(gè)單獨(dú)發(fā)光源。
像素和像素之間發(fā)光的強(qiáng)度和色彩的均勻度都要能夠很準(zhǔn)確地偵測出來,過去檢測LED面板上的1顆像素,對應(yīng)需要9顆像素(3×3),OLED則對應(yīng)需要16顆(4×4),甚至25顆(5×5)像素。
所以對圖像傳感器的像素要求越來越高,從4,500萬要到1.5億像素,甚至超過2億像素。
另外在工業(yè)上,圖像傳感器還被用于監(jiān)控/廣播、PCB檢測等。
那圖像傳感器這幾年的發(fā)展趨勢是否跟得上呢?下圖以1.3英寸固定尺寸的圖像傳感器發(fā)展趨勢為例,可以看到圖像傳感器的分辨率在逐年提升;二是噪聲導(dǎo)數(shù),相當(dāng)于圖像質(zhì)量,隨著像素的增大也是不斷地提高;三是帶寬,也是在逐年提高。
一個(gè)很好的例子,29×29mm2標(biāo)準(zhǔn)的工業(yè)用攝像頭,在十年以前可能只是200萬像素,后來逐漸增加到300萬、500萬、1200萬,今年已經(jīng)能夠用到1600萬像素。
一些關(guān)鍵技術(shù)的進(jìn)步也是很有意義的:
全局快門,可在高速運(yùn)動下使圖像不會有拖影;
像素內(nèi)校正,以前都是在系統(tǒng)里通過軟件校正,現(xiàn)在可以直接做到硬件里,在像素內(nèi)部去做圖像校正;
工藝節(jié)點(diǎn),從110納米到65納米,再到45納米,甚至更小,充分利用了摩爾定律的優(yōu)勢,即成本、尺寸、耗電量都在逐年下降;
背照式(BSI),由于在同樣尺寸下,分辨率越來越高,像素尺寸可能越來越小,可能導(dǎo)致暗光下感光量、感光度降低,背照式可用來提高感光能力;
堆棧架構(gòu),告別兩維架構(gòu),進(jìn)入三維空間后,堆棧式、兩次堆棧、三次堆棧都有可能實(shí)現(xiàn)。
“以后我們不光可以把模擬和數(shù)字信號放在第二層,還能把人工智能算法放在第三層,讓圖像傳感器變成高智能化的圖像傳感器?!?易繼輝暢想到。
3D成像、高光譜和多光譜成像
易繼輝表示:“3D成像、高光譜和多光譜成像都是安森美半導(dǎo)體未來的方向。現(xiàn)有的方案都是在系統(tǒng)上解決,而我們的想法是把這些困難和問題在半導(dǎo)體層面,用摩爾定律來解決。一旦能夠用摩爾定律解決問題,自然就帶來了降低成本、縮小尺寸、降低功耗的好處?!?
針對深度成象(3D),幾年前安森美半導(dǎo)體已經(jīng)開發(fā)出了相位檢測方案,在像素上面做一些改動,可以在1-5米內(nèi)做到1.1%到2%精度,同時(shí)可以提供深度和色彩等圖像信息。原理就是通過在圖像傳感器上做一層衍射光柵,使它的相差能夠分離出來,形成深度的信息。
而ToF則有兩類,一類是iTOF,即indirect ToF;一類是dTOF,即direct ToF。
安森美半導(dǎo)體的方案是遠(yuǎn)距離的dToF,利用單光子雪崩二極管(SPAD)和硅光電倍增管(SiPM),將光子發(fā)出去后再接收回來,能夠非常準(zhǔn)確地判斷出遠(yuǎn)處物體的距離,距離能夠達(dá)到250甚至300米以外。而iTOF一般是間接計(jì)算出距離。
高光譜和多光譜成像方面,安森美半導(dǎo)體也是在半導(dǎo)體層面來解決光譜分離的問題。
等離子波導(dǎo)濾波片技術(shù)分離出來光譜不是那么完整和精確,但是有一些應(yīng)用場景是適合的;法布里-珀羅(F-P)分光濾光片是在半導(dǎo)體上加了一些反射鏡,它可以把光譜非常準(zhǔn)確地分離出來,但成本和可靠性都有一些問題。
激光雷達(dá)
機(jī)械式雷達(dá)使用的傳統(tǒng)技術(shù)是雪崩光電二極管(APD),它的缺點(diǎn)是體積大、功耗高、偵測距離范圍有限、一致性不好。
一般的機(jī)械式雷達(dá)保質(zhì)期只有一年,因?yàn)樗枰粩嘈D(zhuǎn),所以損耗很大,而且現(xiàn)在產(chǎn)量還比較小,不能夠大批量生產(chǎn)。
安森美半導(dǎo)體激光雷達(dá)采用的技術(shù)叫做硅光電倍增管(SiPM),由SPAD集連而成,采用同樣的工藝。
安森美半導(dǎo)體智能感知部大中華區(qū)市場總監(jiān) 郗蘊(yùn)俠博士(Yolanda XI)介紹道,“它的優(yōu)勢在于增益是APD的1萬倍,靈敏度是APD的2000倍,工作電壓要求只要30V,而APD要250V。另外,它的一致性非常好,利于大批量生產(chǎn)?!?
安森美半導(dǎo)體智能感知部大中華區(qū)市場總監(jiān) 郗蘊(yùn)俠博士(Yolanda XI)
郗蘊(yùn)俠表示,在很多行業(yè)尤其是汽車行業(yè)中,安森美半導(dǎo)體是最早給客戶提供SiPM和SPAD工藝技術(shù)的。該技術(shù)已在醫(yī)療方面大量應(yīng)用,且已是量產(chǎn)狀態(tài)。對比其他競爭對手而言,該技術(shù)的重點(diǎn)在于:
01
車規(guī)化。現(xiàn)在之所以很多激光雷達(dá)可靠性不高,是因?yàn)闆]有車規(guī)化里面的器件,所以整個(gè)系統(tǒng)也達(dá)不到車規(guī)化,需要在半導(dǎo)體層面上解決這一問題。
02
安森美半導(dǎo)體推出的RDM,“M”代表Micro Lens微鏡,本來這個(gè)微鏡是用在圖像傳感器上的,但現(xiàn)在用在了激光雷達(dá)上。
好處在于,在激光雷達(dá)的探測器中有個(gè)特別重要的指標(biāo):PDE,即Photon Detection Efficiency(光子探測效率),它相當(dāng)于圖像傳感器QE指標(biāo)。這個(gè)指標(biāo)越高,就說明它的光子轉(zhuǎn)化成電子的效率越高。在RDM系列中加了微鏡技術(shù)以后,它的透光率就更高,轉(zhuǎn)化出來的PDE提升也非常高。
03
采用成熟CMOS工藝。如果出貨量上到萬的等級,以前的APD技術(shù)都不可能用人工標(biāo)定。而CMOS工藝可以達(dá)到真正的低成本、低功耗,以及優(yōu)化尺寸等等,能實(shí)現(xiàn)激光雷達(dá)真正的落地,車規(guī)化的落地。
安森美半導(dǎo)體在激光雷達(dá)上也提供整體的、系統(tǒng)的方案
毫米波雷達(dá)
毫米波雷達(dá)的適用范圍囊括了自動駕駛的L1、L2、L3、L4、L5級別,在不同級別上有不同的應(yīng)用。
易繼輝表示,安森美半導(dǎo)體下一代毫米波雷達(dá)的重點(diǎn)放在L3上,使用的技術(shù)叫做“MIMO+”,能夠提供四維(4D)信息(R是距離,V是速度,A是角度,E是高度)。
易繼輝表示,MIMO+和競爭對手的技術(shù)相比,要多一倍的通道,也就是說同樣性能的毫米波雷達(dá),安森美半導(dǎo)體方案可以節(jié)省50%的mmIC器件,還能減少優(yōu)化控制器、線路板,降低總體成本。
同時(shí),安森美半導(dǎo)體也會開發(fā)雷達(dá)信號處理,并且按照行業(yè)標(biāo)準(zhǔn)定制對外聯(lián)接接口,不管是現(xiàn)有標(biāo)準(zhǔn)還是未來發(fā)展標(biāo)準(zhǔn)。
郗蘊(yùn)俠表示,安森美半導(dǎo)體現(xiàn)在已與大中華地區(qū)的一些重點(diǎn)客戶開展毫米波雷達(dá)項(xiàng)目,向他們提供了一些芯片,客戶產(chǎn)品已經(jīng)處于研發(fā)階段。
一張圖表總結(jié)安森美半導(dǎo)體在汽車感知上的產(chǎn)品陣容。
點(diǎn)擊閱讀原文,了解更多
免責(zé)聲明:本文內(nèi)容由21ic獲得授權(quán)后發(fā)布,版權(quán)歸原作者所有,本平臺僅提供信息存儲服務(wù)。文章僅代表作者個(gè)人觀點(diǎn),不代表本平臺立場,如有問題,請聯(lián)系我們,謝謝!