未來設備對圖像處理的需求繼續(xù)呈指數(shù)級增長。主要的例子是安全攝像頭和監(jiān)控市場，目前價值250億美元。預計到2025年，復合年增長率將達到13%，達到450億美元，其中約四分之一用于消費類智能家居相機。全球安裝了大約十億臺攝像機。據(jù)估計，下一個十億臺攝像機將在短短4年內安裝完畢。Arm正在擴展其ISP產(chǎn)品組合，并宣布Arm Mali系列的最新Arm Mali-C55：迄今為止Arm最小，性能最高的圖像信號處理器（ISP）。

Arm Mali-C55是用于計算機視覺和智能顯示系統(tǒng)的多功能圖像信號處理器，它可以為各種物聯(lián)網(wǎng)、嵌入式和機器學習 （ML） 應用（包括用于消費和商業(yè)安全的智能攝像頭、業(yè)余愛好無人機和機器人、機頂盒和 AR 可穿戴設備）提供高分辨率圖像處理、能效和無與倫比的圖像質量的最佳組合。該處理器是迄今為止最小的，但它提供了比其前身更高的圖像質量和更高的性能，并且建立在多攝像頭和物聯(lián)網(wǎng)（IoT）計算機視覺系統(tǒng)的基礎上。

Arm物聯(lián)網(wǎng)和嵌入式副總裁Mohamed Awad聲稱“Mali-C55提供升級的圖像質量功能，可在各種不同的照明和天氣條件下工作”，意思是在區(qū)域和功耗受限的應用中它可以實現(xiàn)最大的性能和能力，使其成為智能相機和邊緣AI視覺用例的理想選擇。下圖為Arm MaliISP的比較表，通過數(shù)據(jù)可以看出Mali-C55與前代產(chǎn)品相比，提供升級的圖像質量功能，具有更高的吞吐量、更低的功耗和顯著更小的硅片面積。Mali-C55 為電池供電設備提供高性能圖像信號處理，并為有線設備和已建立的攝像系統(tǒng)提供增強的性能。

Mali-C55 ISP是一個完整的解決方案，包括硬件IP、軟件驅動程序、3A庫（自動曝光、自動白平衡、自動對焦）以及全套調教和校準工具。在未來Mali-C55 ISP 將配備面向物聯(lián)網(wǎng)的 Arm 整體解決方案、。

在最小的芯片面積內實現(xiàn)最高性能

Mali-C55 可在所有 Arm Mali ISP 中最小的硅片面積中以低功耗提供高達 1.2 千兆像素/秒的吞吐量，適用于電池供電設備和邊緣 AI 視覺用例。新型 Mali-C55 圖像信號處理器以同類領先的 Mali-C52 ISP 為基礎，通過提供以下功能的增強功能來支持需要高質量圖像輸出的應用：

Arm Iridix 局部音調映射

Arm Temper temporal降噪

Arm Sinter spatial降噪

支持高動態(tài)范圍 （HDR） 傳感器

Iridix 局部色調映射是將強度變換應用于圖像的過程，通過使用從圖像中的局部區(qū)域收集的信息來實現(xiàn)更好的可視化。Iridix 將圖像中的這些局部區(qū)域定義為大小相等的網(wǎng)格。它從每個網(wǎng)格中提取統(tǒng)計信息，以將收集的統(tǒng)計信息應用于映像中的相應局部區(qū)域。與Mali-C52相比，Mali-C55通過平滑每個局部色調曲線來改進Iridex局部色調映射算法，從而實現(xiàn)明亮光源周圍更自然的衰減。

Temper 是一種時間降噪算法，通過組合連續(xù)幀來提高低光照條件下的圖像質量。與Mali-C52相比，Mali-C55不僅通過更新的降噪算法提高了圖像質量，而且內存帶寬降低了50%。

Sinter 2.6是一種改進的空間降噪技術，可改善色彩通道中的細節(jié)和噪聲平衡。與Mali-C52相比，Mali-C55的Sinter礦通過為每個顏色通道使用特定的寄存器實現(xiàn)了更好的細節(jié)平衡。

Temper和Sinter功能模塊旨在通過在模塊之間共享信息，在各個區(qū)域應用更強的降噪功能來協(xié)同工作，以獲得顯著更好的圖像質量。與以前的ISP設計相比，Temper和Sinter塊順序在管道中切換。通過這種方式，Temper的輸入運動掩碼提高了整體運動自適應降噪性能，同時提供了每個平面的噪聲分析。

對于需要高吞吐量和低延遲的計算機視覺應用，可以通過啟用或禁用上述功能來配置Mali-C55 ISP。這種可配置性有助于在不同應用內提供最大的性能和功能，使其成為各種用例的理想選擇。

高動態(tài)范圍

與前代產(chǎn)品相比，增強了對高動態(tài)范圍 （HDR） 傳感器的支持，具有 2：1 HDR 拼接、數(shù)字疊加 （DOL） 和雙像素 HDR，可應對具有挑戰(zhàn)性的照明和天氣條件。Mali-C55 具有多達 8 個輸入的多攝像頭處理功能，可支持高達 4800 萬像素/8K 的分辨率。上一代，maliC-52僅通過單個界面支持多達4個攝像頭，最大支持1600萬像素。Mali-C55 具有圖像質量、吞吐量、功耗和硅片面積的最佳組合，可滿足各種消費類、商業(yè)和工業(yè)視覺系統(tǒng)應用的要求。

高度靈活的配置

可配置硅片，可根據(jù)需要選擇處理模塊，包括顏色降噪、全分辨率輸出流水線中的降頻器以及單緩沖或雙緩沖配置。在現(xiàn)代SoC中，ISP的輸出越來越多地直接連接到機器學習加速器，以便通過神經(jīng)網(wǎng)絡或其他ML算法進行進一步處理。這通常意味著為ML模型提供縮小的圖像來檢測和識別對象，甚至嘗試更復雜的推理，如姿勢估計。Mali-C55提供了第二個輸出管道，可以輸出適合輸入到任何機器l增益加速器的縮小圖像。將ISP與機器學習加速器配對，能夠使用其他轉換器模型做為去噪技術，從而將ML功能添加到圖像處理管道中，從而進一步提高圖像質量。

由于對更高分辨率的需求不斷增長，內存帶寬預計將成為即將推出的面向視覺的SoC的關鍵瓶頸。在這樣的SoC中添加機器學習加速器可能會進一步增加帶寬要求，從而加劇問題。Mali-C55 支持與其他產(chǎn)品（如 Arm 幀緩沖壓縮 （AFBC））集成，這些產(chǎn)品可以解決此類帶寬問題，并在系統(tǒng)級別提供巨大優(yōu)勢。

Mali-C55可以與互補產(chǎn)品無縫集成，包括：

機器學習加速器

Arm緩沖壓縮 （AFBC）

Arm Mali-C10幾何畸變校正 （GDC）

這種技術組合可以在系統(tǒng)范圍內實現(xiàn)最佳的成像解決方案。

支持 ML 的攝像機正在實現(xiàn)一種新的模式 - “軟件定義的攝像機” - 這為 OEM 和服務提供商在世界各地部署攝像機提供了新方法。關鍵硬件功能是預先提供的，但具有足夠的 ML 和通用處理功能，以便隨著時間的推移改進或啟用其他軟件功能。訂閱和其他收入模式正在圍繞這些動態(tài)功能進行開發(fā)。我們預計Mali-C55 ISP將成為靈活且功能強大的計算系統(tǒng)的關鍵組成部分，從而促進這一趨勢。

軟件和工具支持

與任何 Arm 解決方案一樣，軟件和工具是 Mali-C55 產(chǎn)品的重要組成部分。Mali-C55 被許可方可以使用完整的軟件包來控制以下功能：

互聯(lián)網(wǎng)服務提供商

傳感器

自動白平衡、自動對焦和自動曝光

裸機和 Linux（Video4Linux 框架 - V4L2）支持

ISP用戶還需要客觀和主觀調諧的能力，Arm提供了一整套調整和校準工具。Arm 工具可幫助開發(fā)人員實現(xiàn)所需的圖像質量，這對于視覺設備至關重要。Arm 軟件和工具可實現(xiàn)最佳設計并縮短上市時間。

Arm 還提供專門的調整培訓課程，并支持量身定制的調整，以滿足特定的傳感器和用例需要。

為了在硅片上市之前加快Mali-C55的SoC開發(fā)速度，Arm還提供了1個位精度仿真模型以及一個參考平臺，可以對Mali-C55圖像質量進行預構建和預調整的評估。

Arm繼續(xù)使生態(tài)系統(tǒng)中的更多合作伙伴能夠為所有Mali SP產(chǎn)品（包括Mali-C55）提供ISP調優(yōu)服務。

交付面向物聯(lián)網(wǎng)的 Arm 整體解決方案路線圖

在過去的一年里，Arm推出了面向物聯(lián)網(wǎng)的Arm整體解決方案，以加速物聯(lián)網(wǎng)的發(fā)展。作為路線圖的一部分，我們計劃將Mali-C55納入即將推出的物聯(lián)網(wǎng)整體解決方案中 - 從視覺系統(tǒng)的完整參考設計開始，Mali-C55圖像信號處理器將配備預先驗證的解決方案，該解決方案將支持特定的傳感器和雙輸出模式，該模式無縫連接到執(zhí)行各種功能的機器學習加速器。

解決各種圖像處理用例

Mali-C55 提供圖像質量、高吞吐量、功耗和硅片面積的最有效組合。它可以實現(xiàn)廣泛的應用，包括端點AI，智能家居攝像頭，AR / VR和智能顯示器。

它可以滿足視覺應用對具有挑戰(zhàn)性照明和天氣條件下不同功率包絡的有線或電池供電設備的不斷增長的需求。Mali-C55 可以通過 Cortex-A 或 Cortex-M CPU 無縫集成到 SoC 設計中，因為它包括行業(yè)標準 AXI 和 AHB 接口。

Mali-C55 提供廣泛的可配置性選項，提供最高效的實施以支持目標用例。例如，僅計算機視覺應用程序不需要與全彩色顯示輸出相同級別的圖像處理。使用Mali-C55，可以省略特定的圖像處理功能或以模塊化方式單獨簡化。

由于更新了色彩再現(xiàn)和降噪功能，Mali-C55還具有更高的圖像質量，并且具有更高的性能，吞吐量高達1.2Gpix / sec。

Mali-C55 ISP是Arm成像產(chǎn)品發(fā)展的下一步。Arm能夠在不斷擴大的智能攝像頭領域提供市場領先的產(chǎn)品，與現(xiàn)有的物聯(lián)網(wǎng)攝像頭系統(tǒng)相比，性能和效率將顯著提升。

---

本文編譯整理自：

Mali-C55

https://developer.arm.com/Processors/Mali-C55

Documentation – Arm Developer

https://developer.arm.com/documentation/107603/0100/?lang=en

Arm Mali-C55: Image processing with smallest silicon area and highest performance - Internet of Things (IoT) blog - Arm Community blogs - Arm Community

https://community.arm.com/arm-community-blogs/b/internet-of-things-blog/posts/new-image-signal-processor-mali-c55

Arm Unveils High-Performance Mali-C55 Image Signal Processor with Machine Learning, IoT Focus - Hackster.io

https://www.hackster.io/news/arm-unveils-high-performance-mali-c55-image-signal-processor-with-machine-learning-iot-focus-97fc195695e1

Arm 發(fā)布全新圖像信號處理器 助推物聯(lián)網(wǎng)及嵌入式市場視覺系統(tǒng)發(fā)展 - 21ic電子網(wǎng)

http://m.dunminwenhua.com/a/929793.html