趨勢
【Arm 專欄】Arm 影像訊號處理器 Mali-C55 助力視覺產品與智慧顯示系統開發
目前安全攝影機和監控市場市值為 250 億美元，預計 2025 年將成長至 450 億美元，而 Arm 也在六月宣布推出 Arm Mali 相機系列的最新產品 Arm Mali-C55，這是 Arm 迄今面積最小但性能最高的影像訊號處理器（ISP）。
未來裝置對圖像處理的需求持續呈現指數級成長，一個典型的例子是目前安全攝影機和監控市場市值為 250 億美元，預計 2025 年將成長至 450 億美元，年複合成長率高達 13%，其中約四分之一的銷售額來自於消費性智慧家庭攝影機。現今全球大約安裝了十億台攝影機，估計下一個十億台攝影機將在短短 4 年內安裝，而 Arm 也持續擴展 ISP 產品組合，在六月宣布推出 Arm Mali 相機系列的最新產品 Arm Mali-C55，這是 Arm 迄今面積最小但性能最高的影像訊號處理器（ISP）。
支援廣泛的影像處理使用場景
Mali-C55 為影像品質、數據輸送量、功耗和晶片面積提供最有效率之組合，它可以實現廣泛的應用，包括終端 AI、智慧家庭攝影機、AR/VR 和智慧顯示器。它可以滿足有線或電池供電裝置在不同功耗範圍內，在具挑戰性的照明和天氣條件下不斷增長的視覺應用需求。Mali-C55 可以透過 Cortex-A 或 Cortex-M CPU 無縫整合至 SoC 設計中，因為它包含業界標準的 AXI 和 AHB 介面。
Mali-C55 提供廣泛的可配置性選項，提供最有效的實施以支援目標使用場景，例如，僅電腦視覺的應用不需要與全彩色顯示輸出相同等級的影像處理。使用 Mali-C55 可以省略特定的影像處理功能或以模組化方式單獨簡化，從而優化晶片的佔用面積。由於更新了色彩再現和降噪功能，Mali-C55 具有更高的影像品質，並且具有更高的性能，數據輸送量高達 1.2Gpix/sec。
支援高品質影像輸出
新型的 Mali-C55 影像訊號處理器是以領先同級的 Mali-C52 ISP 為基礎，透過提供以下強化的功能來支援需要高品質影像輸出的應用：
- Arm Iridix 區域色調映射 (Iridix local tone mapping)
- Arm Temper temporal noise reduction
- Arm Sinter spatial noise reduction
- 支援高動態範圍 (High Dynamic Range ; HDR) 感測器
Iridix 區域色調映射 (Iridix local tone mapping) 是將強度轉換應用於影像的過程，透過使用從影像中的局部區域收集的訊息來實現更好的可視化。Iridix 將影像中的這些局部區域定義為大小相等的網格，它從每個網格中提取統計資訊，以將收集的統計資訊應用於映射中的相應局部區域。與 Mali-C52 相比，Mali-C55 透過平滑每個區域色調曲線來改進 Iridex 區域色調映射演算法，從而使明亮光源周圍的光線下降使其更加自然。
Temper 是一種時間降噪演算法，透過組合連續幀來提高低光源條件下的圖像品質。與 Mali-C52 相比，Mali-C55 不僅透過更新的降噪演算法提高了影像品質，而且記憶體頻寬降低了 50%。Sinter 2.6是一種改進的空間降噪技術，可改善色彩通道中的細節和噪點平衡。與 Mali-C52 相比，Mali-C55 的 Sinter 透過為每個顏色通道使用特定的暫存器實現了更好的細節平衡。
Temper 和 Sinter 功能模組被設計來透過在模組之間共用資訊，在各個區域應用更強的降噪功能來協同工作，以獲得顯著更好的影像品質。與以前的 ISP 設計相比，Temper 與 Sinter 區塊順序在管道中切換，透過這種方式，Temper 的 input motion mask 提高了整體運動自適應降噪性能，同時提供了每個平面的雜訊分析。對於需要高輸送量和低延遲的電腦視覺應用，可以透過啟用或禁用上述功能來配置 Mali-C55 ISP。這種可配置性有助於在最小區域內提供最大的性能和功能，使其成為各種使用場景的理想選擇。
增強 ML 處理能力
在現代 SoC 中，ISP 的輸出越來越多地直與機器學習加速器相連，以便透過神經網路或其他 ML 演算法進行進一步處理。這通常意味著為 ML 模型提供縮小的影像來檢測和識別物件，甚至嘗試更複雜的推理，如姿勢估計。Mali-C55 提供了第二個輸出管道，可以輸出適合輸入到任何機器學習加速器的縮小影像。將 ISP 與機器學習加速器配對，能夠使用其他轉換器模型作為去噪技術，從而將 ML 功能添加到影像處理管道中，從而進一步提高影像品質。
由於對更高解析度的需求不斷增長，記憶體頻寬預計將成為即將推出適用於視覺的 SoC 的關鍵瓶頸。在這樣的 SoC 中添加機器學習加速器可能會進一步增加頻寬要求，從而使問題加劇。Mali-C55 能支援與其他產品的整合，例如 Arm Frame Buffer Compression (AFBC)，以解決此類頻寬問題，並在系統級別提供巨大優勢。Mali-C55 可以與互補產品無縫整合，包括：
- 機器學習加速器
- Arm Frame Buffer Compression（AFBC）
- Arm Mali-C10 Geometric Distortion Correction（GDC）
這種技術組合可以在系統範圍內實現最佳的成像解決方案。支援 ML 的攝影機正在實現一種新的模式，即軟體定義攝影機，這為 OEM 和服務提供者在世界各地部署攝影機提供了新方法。關鍵的硬體功能是預先提供的，但具有足夠的 ML 和通用處理功能，以便隨著時間的推移改進或啟用其他軟體功能。訂閱和其他營收模式正在圍繞這些動態功能進行開發，我們預計 Mali-C55 ISP 將成為靈活且功能強大的運算系統的關鍵組成部分，從而推進此一趨勢。
改進的多影像處理
Mali-C55 具有多達 8 個輸入的多攝影機處理功能，可支援高達 4800 萬像素與 8K 的影像解析度。上一代的 Mali-C52 僅透過單個介面支援多達 4 個攝像頭及最大支援 1600 萬像素。Mali-C55 具有影像品質、數據輸送量、功耗與晶片面積的最佳效率組合，可滿足各種消費性、商業和工業視覺系統應用的要求。
軟體和工具支援
與任何 Arm 解決方案一樣，軟體和工具是 Mali-C55 產品的重要組成部分，Mali-C55 的被授權者可以使用完整的套件來控制以下功能：ISP、感測器、自動白平衡、自動對焦和自動曝光、支援裸機和基於Linux（Video4Linux 框架 - V4L2）的軟體版本。ISP使用者還需要客觀和主觀調諧的能力，Arm 提供了一整套調整和校準工具。Arm 工具可幫助開發人員實現所需的影像品質，這對於視覺裝置至關重要。Arm 軟體和工具可實現最佳設計並縮短上市時間。Arm 還提供專門的調整培訓課程，並支援量身定製的調整，以滿足特定的感測器和使用場景。
為了在晶片可之前加快基於 Mali-C55 的 SoC 開發，Arm 還提供了一個精確的模擬模型和一個參考平臺，使得 Mali-C55 影像品質的預構建和預調整評估成為可能。Arm 將繼續支援生態系統中更多的合作夥伴為所有 Mali ISP 產品 (包括 Mali-C55 ) 提供 ISP 調整服務。
透過「Arm AIoT 暨智慧視覺技術論壇」瞭解基於 Arm 的影像產品解決方案
在過去的一年，Arm 推出了 Arm 物聯網全面解決方案，以加快物聯網的發展。作為產品路線圖的一部分，從視覺系統的完整參考設計開始，Arm 在物聯網全面解決方案中包含了 Mali-C55。Mali-C55 影像訊號處理器附帶一個預先驗證的解決方案，將支援特定的感測器和雙輸出模式，無縫連接到執行各種功能的機器學習加速器。Mali-C55 ISP 是 Arm 影像產品發展的下一步，將使 Arm 的合作夥伴在不斷擴大的智慧相機領域提供領先市場的產品，與現有的物聯網相機系統相比，性能和效率顯著升級。
為了協助開發者進一步瞭解前述的 Arm 物聯網解決方案、最新發布的 Arm Mali-C55 以及基於 Arm 架構的視覺產品及系統解決方案，Arm 將於 2022 年 6 月 21 日 (二) 下午 1：30 至 5：30 在線上舉辦「Arm AIoT 暨智慧視覺技術論壇」，邀請 Arm 專家與生態系夥伴介紹智慧相機市場的技術與應用，包括耐能智慧、奇景光電、凌華科技、AWS、Tomofun 及 PUFsecurity 在內的技術專家除了將帶來演講及參與智慧相機座談會，也將在線上與您即時互動問答，協助您開發影像與 AIoT 產品，歡迎參加。
加入 INSIDE 會員，獨享 INSIDE 最精采每日趨勢電子報，未來還有會員專屬內容。 點擊立刻成為會員！
責任編輯：Mia
核稿編輯：Chris
延伸閱讀：
- 【Arm 專欄】Arm Mali GPU 新品：適用所有工作負載、使用場景與消費性裝置
- 【Arm 專欄】Arm 智慧手機全面運算解決方案：首款基於 Armv9 架構與高效 Mali-G710 SoC發布
- 【Arm 專欄】 GDC 2022 觀察：以 Armv9、Mali GPU 與優化工具，實現沉浸式手機遊戲體驗
