“聰明”一詞來(lái)自于《易林》成語(yǔ)“耳聰目明”，指的是聽(tīng)覺(jué)靈敏、眼力敏銳，是一個(gè)人智慧的象征?，F(xiàn)在我們已經(jīng)到了人工智能的時(shí)代，機(jī)器視覺(jué)和聽(tīng)覺(jué)對(duì)于它們的智能程度也是至關(guān)重要的。馬?。–hloe Ma，Arm 物聯(lián)網(wǎng)兼嵌入式事業(yè)部業(yè)務(wù)拓展副總裁）在Arm最新ISP IP Mail-C55的發(fā)布會(huì)上分享到。

智能視覺(jué)的應(yīng)用前景廣闊，以智能攝像頭市場(chǎng)為例：市場(chǎng)數(shù)據(jù)表明商用和消費(fèi)類智能攝像頭市場(chǎng)有望在五年近乎翻倍，從去年的 250 億美元到 2025 年有望達(dá)到 450 億美元。

隨著AI在垂直應(yīng)用落地和持續(xù)向邊緣化部署，智慧視覺(jué)的應(yīng)用也發(fā)生了一系列的演進(jìn)。

在功耗敏感的端側(cè)提供專用AI算力

智慧視覺(jué)的應(yīng)用已經(jīng)逐漸深入到了生活的方方面面，從高清商務(wù)視頻會(huì)議、安防/智能監(jiān)控、智慧城市到電池供電的可視門(mén)鈴和智能貓眼，用例非常廣泛。2020年突如其來(lái)的新冠疫情大大加速了數(shù)字化轉(zhuǎn)型的節(jié)奏，智能攝像頭也在商務(wù)會(huì)議、遠(yuǎn)程教育、遠(yuǎn)程健身等方面進(jìn)一步普及。

簡(jiǎn)單的視頻采集并不能滿足當(dāng)前的應(yīng)用需求，AI賦能讓更多的智能視覺(jué)應(yīng)用成為可能。例如在公共健康方面，帶有人工智能 (AI) 的智能相機(jī)可以監(jiān)控口罩佩戴情況，跟蹤社交距離，并幫助追蹤接觸者。在工業(yè)和制造業(yè)方面，缺陷和異常檢測(cè)已經(jīng)起到了提高生產(chǎn)效率、保證產(chǎn)品質(zhì)量和減輕人力投入的效果。而在更高精度、工序及其復(fù)雜的半導(dǎo)體制造過(guò)程中，基于深度學(xué)習(xí)算法的視覺(jué)檢測(cè)系統(tǒng)可以在每個(gè)半導(dǎo)體工藝完成后都會(huì)通過(guò)優(yōu)質(zhì)產(chǎn)品的圖像進(jìn)行訓(xùn)練，并且學(xué)會(huì)識(shí)別缺陷。在農(nóng)業(yè)方面，智能視覺(jué)技術(shù)通過(guò)監(jiān)測(cè)雜草和農(nóng)作物種植密度，可以最大限度地提高產(chǎn)量，幫助緩解食品供應(yīng)鏈的困難。

而未來(lái)進(jìn)入到元宇宙時(shí)代，更多的人工智能功能，比如人臉識(shí)別、物體識(shí)別等的部署將會(huì)拓展到邊緣端，圖像處理的任務(wù)也就需要在端側(cè)完成，圖像處理后輸出的圖像可以直接送到機(jī)器學(xué)習(xí) (ML) 加速器來(lái)做推理，加上現(xiàn)有的高清攝像頭和多攝像頭的逐步普及，人們對(duì)于視覺(jué)技術(shù)性能提出了更高的新要求。

智能視覺(jué)系統(tǒng)在端側(cè)逐漸普及，功耗敏感的端側(cè)如何提供足夠的算力，提供專業(yè)的圖像處理能力，這是當(dāng)下技術(shù)發(fā)展的關(guān)鍵方向。在智能視覺(jué)系統(tǒng)端側(cè)添加專用的NPU引擎、ISP引擎，用于圖像處理能力，從而釋放CPU的資源專注于更適合的計(jì)算和控制等工作，才可以保證系統(tǒng)整體低功耗和性能兼顧。

端側(cè)智慧視覺(jué)系統(tǒng)需要什么樣的ISP？

當(dāng)前智能攝像頭的CPU的絕大多數(shù)采用的是Arm的Cortex-A系列CPU IP，而據(jù)馬健介紹，未來(lái)除了基本的CPU之外，也會(huì)更多地使用 ISP 和 ML 加速器。要實(shí)現(xiàn)高效的系統(tǒng)設(shè)計(jì)，擁有可針對(duì)此類活動(dòng)所需要的數(shù)據(jù)類型和處理進(jìn)行匹配的 ISP 是非常重要的。一些 NPU、通用 GPU、ISP 等 IP 都會(huì)逐漸地在現(xiàn)有或者下一代芯片中得到應(yīng)用，用于從圖像中提取更多有用的信息。

任何一個(gè)高速發(fā)展的市場(chǎng)都會(huì)經(jīng)過(guò)一段百花齊放的階段，然后市場(chǎng)漸趨成熟，變得愈發(fā)整合，智能視覺(jué)市場(chǎng)亦是如此。當(dāng)前智能視覺(jué)的市場(chǎng)增長(zhǎng)速度很快，用例很多并且有非常多創(chuàng)新。但市場(chǎng)的細(xì)分應(yīng)用方向已經(jīng)基本明確，每個(gè)市場(chǎng)都有一些基本模塊，每個(gè)廠商也都有相似的方案。在這些細(xì)分市場(chǎng)上實(shí)現(xiàn)差異化，通過(guò)不同的算法和用例上的不同優(yōu)化，是當(dāng)前創(chuàng)新的來(lái)源。

除了要在邊緣端提供專門(mén)的圖像處理能力和AI加速的能力外，還應(yīng)注意在不同智能視覺(jué)的用例上，對(duì)于圖像處理的質(zhì)量也是不同的。例如一些簡(jiǎn)單的物品識(shí)別的場(chǎng)景對(duì)于分辨率的要求并不高；而在安防領(lǐng)域例如車牌和人臉識(shí)別，對(duì)于圖像處理質(zhì)量要求就高得多；像在高精度的缺陷檢測(cè)用例中，對(duì)于圖像的成像精度有著更高的要求。

基于以上的技術(shù)發(fā)展趨勢(shì)和市場(chǎng)應(yīng)用需求，Mali-C55的產(chǎn)品定義也就呼之欲出。應(yīng)用在功耗敏感的端側(cè)，有專業(yè)的圖像處理能力，強(qiáng)大的AI算力，支持可靈活拓展的用例，并且易于部署。

Mali-C55：一半面積實(shí)現(xiàn)翻倍性能

Mali-C55有著高性能、易于配置、易于部署和系統(tǒng)整合難度低三大優(yōu)勢(shì)。幾大優(yōu)勢(shì)說(shuō)起來(lái)簡(jiǎn)單，但均來(lái)自Mali-C55的架構(gòu)設(shè)計(jì)上的創(chuàng)新，以及Arm全套的IP強(qiáng)生態(tài)。

首先看性能參數(shù)方面，Maili-C55相比上代C52，面積直接縮減了一半，畫(huà)質(zhì)和分辨率翻倍達(dá)到了8K、4800 萬(wàn)像素，Throughput提升了一倍（1200Mpix/sec），此外攝像頭支持也從單通道提升到了最高8通道，像色彩映射和降噪等模塊也實(shí)現(xiàn)了升級(jí)?！案〉拿娣e同時(shí)也意味著更低的功耗?！瘪R健強(qiáng)調(diào)到。

易于配置和部署的優(yōu)勢(shì)來(lái)自Mali-C55靈活的模塊化設(shè)計(jì)。ISP的處理是一個(gè)流水線，從傳感器得到原始的圖像，而這些原始數(shù)據(jù)會(huì)經(jīng)過(guò)一系列的處理，包括時(shí)間降噪、空間降噪、色調(diào)映射等。傳統(tǒng)的ISP的流水線比較固定，開(kāi)發(fā)者很難去配置每個(gè)步驟的內(nèi)容，或去掉某些步驟。正如上文所提到的，不同的用例對(duì)于不同的圖像處理有著不同的要求和偏向，而且不同客戶的要求也存在差異。

Mali-C55 是將時(shí)間降噪（Temper）、空間降噪（Sinter）和色調(diào)映射（Iridix）等作為不同的模塊，讓開(kāi)發(fā)者靈活組合。Iridix將圖像中的這些局部區(qū)域定義為大小相等的網(wǎng)格，從每個(gè)網(wǎng)格中提取統(tǒng)計(jì)數(shù)據(jù)應(yīng)用于圖像中相應(yīng)的局部區(qū)域。Mali-C55中升級(jí)的Iridix8.1通過(guò)平滑每個(gè)局部色調(diào)曲線改進(jìn)了局部色調(diào)映射算法，因此可以在明亮光源周圍實(shí)現(xiàn)更自然的衰減。Temper是通過(guò)組合連續(xù)幀來(lái)提高低光照條件下的圖像質(zhì)量的時(shí)間降噪算法。 Mali-C55中升級(jí)的Temper4不僅通過(guò)更新的降噪算法提高了圖像質(zhì)量，而且與 Mali-C52 相比，內(nèi)存帶寬減少了高達(dá) 50%。Sinter是一種空間降噪技術(shù)，Mali-C55中升級(jí)后的Sinter2.6可改善顏色通道中的細(xì)節(jié)和噪聲平衡，通過(guò)為每個(gè)顏色通道使用特定的寄存器來(lái)實(shí)現(xiàn)更好的細(xì)節(jié)平衡。這兩種降噪模塊可以在流水線中的順序可以進(jìn)行按照客戶需求進(jìn)行切換。

除了上述模塊外，在圖像處理的流水線過(guò)程中，開(kāi)發(fā)者還可以加入 ML 加速、調(diào)用 NPU 的功能并運(yùn)用大數(shù)據(jù)對(duì)數(shù)據(jù)進(jìn)行分析，來(lái)增強(qiáng) ISP 的功能，比如可以利用 ML 的功能使一些時(shí)間、空間方面的降噪效果做得更明顯。

模塊化的設(shè)計(jì)帶來(lái)了更靈活的部署選擇，客戶根據(jù)不同的應(yīng)用需求可以使用Mali-C55來(lái)進(jìn)行不同的配置。比如在安防監(jiān)控領(lǐng)域，室外的攝像頭成像經(jīng)常會(huì)受到光線、天氣和物體移動(dòng)速度等因素的影響。借助 Mali-C55 增強(qiáng)的色調(diào)映射和降噪能力，人臉和物體識(shí)別就會(huì)更加精確，并且在車輛以時(shí)速 120.7 公里的速度行駛的情況下，也能做到比較準(zhǔn)確的車牌識(shí)別。在智能家居領(lǐng)域，可視門(mén)鈴經(jīng)常是電池供電，所以對(duì)能耗的要求特別高，Mali-C55 的低面積、低能耗特性，使智能可視門(mén)鈴產(chǎn)品更耐用，并且能夠更準(zhǔn)確地根據(jù)人臉識(shí)別的結(jié)果進(jìn)行開(kāi)鎖。

在系統(tǒng)整合方面，Mali-C55 也更易于整合，包括與 ML 加速器整合實(shí)現(xiàn)邊緣智能終端上本地視頻數(shù)據(jù)處理，以及通過(guò)標(biāo)準(zhǔn)的 AXI 和 AHB 接口，與現(xiàn)有的 Arm Cortex-A 和 Cortex-M 系列的 CPU 進(jìn)行無(wú)縫對(duì)接。此外，Arm還將Mali-C55與MCU、CPU等IP一起打包推出了視覺(jué)的Corstone參考設(shè)計(jì)，這也極大地降低了客戶的設(shè)計(jì)和驗(yàn)證門(mén)檻，幫助客戶加速智慧視覺(jué)的產(chǎn)品設(shè)計(jì)和縮短上市時(shí)間。

總結(jié)

“Arm 架構(gòu)是物聯(lián)網(wǎng)的基石。Arm 在 IoT 和嵌入式領(lǐng)域已經(jīng)有很高的市場(chǎng)份額。在我們的合作伙伴每季度平均出貨的70多億顆基于Arm的芯片中，超過(guò)半數(shù)是面向物聯(lián)網(wǎng)/嵌入式設(shè)備的。也就是說(shuō)我們?cè)谶@方面有很深的積累。”馬健分享到。

在端側(cè)智能視覺(jué)的發(fā)展中，ISP必不可少，而ISP上的布局也將會(huì)成為Arm持續(xù)關(guān)注的方向。憑借著足夠優(yōu)秀的性能表現(xiàn)，再輔以Arm完備的IP生態(tài)，Mali-C55的市場(chǎng)前景廣闊，預(yù)計(jì)搭載Mali-C55的芯片跟終端設(shè)備有望在 2023 年面市。