【Arm 專欄】Arm 影像訊號處理器 Mali-C55 助力視覺產品與智慧顯示系統開發

目前安全攝影機和監控市場市值為 250 億美元,預計 2025 年將成長至 450 億美元,而 Arm 也在六月宣布推出 Arm Mali 相機系列的最新產品 Arm Mali-C55,這是 Arm 迄今面積最小但性能最高的影像訊號處理器(ISP)。
評論
Arm 提供
評論

未來裝置對圖像處理的需求持續呈現指數級成長,一個典型的例子是目前安全攝影機和監控市場市值為 250 億美元,預計 2025 年將成長至 450 億美元,年複合成長率高達 13%,其中約四分之一的銷售額來自於消費性智慧家庭攝影機。現今全球大約安裝了十億台攝影機,估計下一個十億台攝影機將在短短 4 年內安裝,而 Arm 也持續擴展 ISP 產品組合,在六月宣布推出 Arm Mali 相機系列的最新產品 Arm Mali-C55,這是 Arm 迄今面積最小但性能最高的影像訊號處理器(ISP)。 

支援廣泛的影像處理使用場景 

Mali-C55 為影像品質、數據輸送量、功耗和晶片面積提供最有效率之組合,它可以實現廣泛的應用,包括終端 AI、智慧家庭攝影機、AR/VR 和智慧顯示器。它可以滿足有線或電池供電裝置在不同功耗範圍內,在具挑戰性的照明和天氣條件下不斷增長的視覺應用需求。Mali-C55 可以透過 Cortex-A 或 Cortex-M CPU 無縫整合至 SoC 設計中,因為它包含業界標準的 AXI 和 AHB 介面。

Mali-C55 提供廣泛的可配置性選項,提供最有效的實施以支援目標使用場景,例如,僅電腦視覺的應用不需要與全彩色顯示輸出相同等級的影像處理。使用 Mali-C55 可以省略特定的影像處理功能或以模組化方式單獨簡化,從而優化晶片的佔用面積。由於更新了色彩再現和降噪功能,Mali-C55 具有更高的影像品質,並且具有更高的性能,數據輸送量高達 1.2Gpix/sec。

支援高品質影像輸出

新型的 Mali-C55 影像訊號處理器是以領先同級的 Mali-C52 ISP 為基礎,透過提供以下強化的功能來支援需要高品質影像輸出的應用: 

  • Arm Iridix 區域色調映射 (Iridix local tone mapping) 
  • Arm Temper temporal noise reduction
  • Arm Sinter spatial noise reduction
  • 支援高動態範圍  (High Dynamic Range ; HDR) 感測器 

Iridix 區域色調映射 (Iridix local tone mapping) 是將強度轉換應用於影像的過程,透過使用從影像中的局部區域收集的訊息來實現更好的可視化。Iridix 將影像中的這些局部區域定義為大小相等的網格,它從每個網格中提取統計資訊,以將收集的統計資訊應用於映射中的相應局部區域。與 Mali-C52 相比,Mali-C55 透過平滑每個區域色調曲線來改進 Iridex 區域色調映射演算法,從而使明亮光源周圍的光線下降使其更加自然。

Temper 是一種時間降噪演算法,透過組合連續幀來提高低光源條件下的圖像品質。與 Mali-C52 相比,Mali-C55 不僅透過更新的降噪演算法提高了影像品質,而且記憶體頻寬降低了 50%。Sinter 2.6是一種改進的空間降噪技術,可改善色彩通道中的細節和噪點平衡。與 Mali-C52 相比,Mali-C55 的 Sinter 透過為每個顏色通道使用特定的暫存器實現了更好的細節平衡。

Temper 和 Sinter 功能模組被設計來透過在模組之間共用資訊,在各個區域應用更強的降噪功能來協同工作,以獲得顯著更好的影像品質。與以前的 ISP 設計相比,Temper 與 Sinter 區塊順序在管道中切換,透過這種方式,Temper 的 input motion mask 提高了整體運動自適應降噪性能,同時提供了每個平面的雜訊分析。對於需要高輸送量和低延遲的電腦視覺應用,可以透過啟用或禁用上述功能來配置 Mali-C55 ISP。這種可配置性有助於在最小區域內提供最大的性能和功能,使其成為各種使用場景的理想選擇。

增強 ML 處理能力 

在現代 SoC 中,ISP 的輸出越來越多地直與機器學習加速器相連,以便透過神經網路或其他 ML 演算法進行進一步處理。這通常意味著為 ML 模型提供縮小的影像來檢測和識別物件,甚至嘗試更複雜的推理,如姿勢估計。Mali-C55 提供了第二個輸出管道,可以輸出適合輸入到任何機器學習加速器的縮小影像。將 ISP 與機器學習加速器配對,能夠使用其他轉換器模型作為去噪技術,從而將 ML 功能添加到影像處理管道中,從而進一步提高影像品質。 

由於對更高解析度的需求不斷增長,記憶體頻寬預計將成為即將推出適用於視覺的 SoC 的關鍵瓶頸。在這樣的 SoC 中添加機器學習加速器可能會進一步增加頻寬要求,從而使問題加劇。Mali-C55 能支援與其他產品的整合,例如 Arm Frame Buffer Compression (AFBC),以解決此類頻寬問題,並在系統級別提供巨大優勢。Mali-C55 可以與互補產品無縫整合,包括: 

  • 機器學習加速器 
  • Arm Frame Buffer Compression(AFBC) 
  • Arm Mali-C10 Geometric Distortion Correction(GDC) 

這種技術組合可以在系統範圍內實現最佳的成像解決方案。支援 ML 的攝影機正在實現一種新的模式,即軟體定義攝影機,這為 OEM 和服務提供者在世界各地部署攝影機提供了新方法。關鍵的硬體功能是預先提供的,但具有足夠的 ML 和通用處理功能,以便隨著時間的推移改進或啟用其他軟體功能。訂閱和其他營收模式正在圍繞這些動態功能進行開發,我們預計 Mali-C55 ISP 將成為靈活且功能強大的運算系統的關鍵組成部分,從而推進此一趨勢。 

改進的多影像處理

Mali-C55 具有多達 8 個輸入的多攝影機處理功能,可支援高達 4800 萬像素與 8K 的影像解析度。上一代的 Mali-C52 僅透過單個介面支援多達 4 個攝像頭及最大支援 1600 萬像素。Mali-C55 具有影像品質、數據輸送量、功耗與晶片面積的最佳效率組合,可滿足各種消費性、商業和工業視覺系統應用的要求。 

軟體和工具支援

與任何 Arm 解決方案一樣,軟體和工具是 Mali-C55 產品的重要組成部分,Mali-C55 的被授權者可以使用完整的套件來控制以下功能:ISP、感測器、自動白平衡、自動對焦和自動曝光、支援裸機和基於Linux(Video4Linux 框架 - V4L2)的軟體版本。ISP使用者還需要客觀和主觀調諧的能力,Arm 提供了一整套調整和校準工具。Arm 工具可幫助開發人員實現所需的影像品質,這對於視覺裝置至關重要。Arm 軟體和工具可實現最佳設計並縮短上市時間。Arm 還提供專門的調整培訓課程,並支援量身定製的調整,以滿足特定的感測器和使用場景。 

為了在晶片可之前加快基於 Mali-C55 的 SoC 開發,Arm 還提供了一個精確的模擬模型和一個參考平臺,使得 Mali-C55 影像品質的預構建和預調整評估成為可能。Arm 將繼續支援生態系統中更多的合作夥伴為所有 Mali ISP 產品 (包括 Mali-C55 ) 提供 ISP 調整服務。

透過「Arm AIoT 暨智慧視覺技術論壇」瞭解基於 Arm 的影像產品解決方案

在過去的一年,Arm 推出了 Arm 物聯網全面解決方案,以加快物聯網的發展。作為產品路線圖的一部分,從視覺系統的完整參考設計開始,Arm 在物聯網全面解決方案中包含了 Mali-C55。Mali-C55 影像訊號處理器附帶一個預先驗證的解決方案,將支援特定的感測器和雙輸出模式,無縫連接到執行各種功能的機器學習加速器。Mali-C55 ISP 是 Arm 影像產品發展的下一步,將使 Arm 的合作夥伴在不斷擴大的智慧相機領域提供領先市場的產品,與現有的物聯網相機系統相比,性能和效率顯著升級。


為了協助開發者進一步瞭解前述的 Arm 物聯網解決方案、最新發布的 Arm Mali-C55  以及基於 Arm 架構的視覺產品及系統解決方案,Arm 將於 2022 年 6 月 21 日 (二) 下午 1:30 至 5:30 在線上舉辦「Arm AIoT 暨智慧視覺技術論壇,邀請 Arm 專家與生態系夥伴介紹智慧相機市場的技術與應用,包括耐能智慧、奇景光電、凌華科技、AWS、Tomofun 及 PUFsecurity 在內的技術專家除了將帶來演講及參與智慧相機座談會,也將在線上與您即時互動問答,協助您開發影像與 AIoT 產品,歡迎參加。

加入 INSIDE 會員,獨享 INSIDE 最精采每日趨勢電子報,未來還有會員專屬內容。 點擊立刻成為會員

責任編輯:Mia
核稿編輯:Chris

延伸閱讀:



讓炒高房價元凶現形!永慶房屋廣告拍出買房族最大噩夢

永慶房屋推出兩支黑心仲介聯手投機客坑殺買賣雙方的廣告,希望提醒消費者注意自身權利,更再次重申:永慶房屋誠實不炒房,提供業界唯一「真房價保證」,承諾提供完整成交行情,若未落實將賠償買方最高400萬元、賠償賣方最高4倍服務費。
評論
Photo Credit:永慶房屋
評論

永慶房屋根據財政部統計資料,彙整 2021 第三季至 2022 第一季房地合一稅件數與金額,發現遭課徵 45% 稅率的高達 21,202 件,為適用房地合一稅新法交易件數的 27.1%,顯示房市短期交易仍盛行,且有逐季增加的趨勢!仔細盤點近期適用 45% 稅率的交易件數,在 2021 第三季為 5,538 件,占比 26.3%;第四季則有 7,896 件,占比 26.7%;到 2022 年第一季,雖然件數略減至 7,768 件,但占比卻升至 28.1%。短短兩個季度,短期交易的占比就增加近 2 個百分點,可見短期交易數量持續增加,絕非個案!

為提醒消費者買賣房當心遭黑心仲介聯手投機客,短期低買高賣造成龐大損失,永慶房屋改編真實案例推新廣告「真房價保證-小夫妻買房篇」,揭發黑心房仲以過高的行情資訊欺騙消費者,並再次重申:永慶房屋誠實不炒房,提供業界唯一的「真房價保證」,承諾提供完整成交行情,若未落實將賠償買方最高400萬元、賠償賣方最高4倍服務費。

永慶房屋新廣告「真房價保證-小夫妻買房篇」改編自真實案例,敘述帶著孩子的小夫妻,辛苦存錢買房,沒想到卻遇到黑心仲介聯手投機客的慘案!黑心仲介隱瞞投機客前幾個月才以 600 萬元購入房屋,更以較貴的成交行情讓小夫妻誤判行情,以 900 多萬元高價購入,讓投機客 6 個月獲利超過 45%,黑心仲介也賺了兩次服務費!

Photo Credit:永慶房屋
永慶房屋新廣告揭發黑心房仲以過高的行情資訊欺騙消費者,導致消費者高價購入房產的真實慘案。

永慶揭發產業惡習 廣告遭同業反彈要求下架

這不是永慶房屋第一次揭發產業惡習!2020 年永慶廣告「真房價保證-退休老伯伯賣屋」,就改編自真實消費者受害故事,訴說黑心仲介刻意拿附近較低的成交行情誤導退休老伯伯低價賤賣房屋給投機客,而投機客很快再轉手高價賣出,短期內低買高賣賺差價,損害買賣方權益的案例。

原意為提醒消費者注意的廣告,在播出後卻引起部分同業反彈,要求永慶房屋將廣告下架!吳良治總經理分析:可能是永慶揭開了業界中「不能說的秘密」,黑心仲介聯手投機客炒房的手法曝光後,讓消費者加以警覺,就斬斷了黑心仲介的「錢途」!

Photo Credit:永慶房屋

不炒房是房仲最重要的企業社會責任 

吳良治總經理表示,中古屋的交易佔整年不動產交易的大宗,現在的消費者買賣屋都會透過仲介,仲介就是關鍵的第一線,如果仲介泯滅良心,配合投機客低買高賣,炒高房價,就會帶動周邊行情不合理的上漲,區域行情就再被推高,房價因此越推越高!以蝴蝶效應的理論來看,仲介就是源頭,是那第一隻蝴蝶,黑心仲介就是炒高房價的元凶!

永慶房屋一路堅持誠實理念,永慶經紀人以成為「誠實房仲」為榮,更深信「不做投機客的白手套、不炒房」是房仲業者最重要的企業社會責任。永慶房屋更是業界唯一提供「買賣屋全保障」的房仲品牌,讓消費者有一個公平交易的平台,拒絕讓台灣成為炒房之島。

有鑑於短期交易依舊頻繁,永慶房屋今年首創「一年內成交再上市地圖」,大膽曝光雙北市各行政區正在交易中、短期重複上市的物件數量,提醒消費者買賣屋時優先參考永慶的誠實房價報告書,以避免消費者以不合理的價格買房,成為炒房下的受害者。

本文章內容由「永慶房屋」提供,經關鍵評論網媒體集團廣編企劃編審。