【Arm 專欄】物聯網時代的關鍵應用!Arm 為智慧相機提供安全創新的基礎

IoT 的安全性是科技產業需考量的關鍵優先要務,基於 Armv9 架構的智慧相機晶片,將透過 Arm 機密運算架構 (CCA) 進一步強化電腦視覺產品的安全性。
評論
Arm 提供
評論

電腦視覺 (computer vision) 是在物聯網領域中擷取真實世界數據的基礎。Arm 的技術為企業、工業與家庭應用的智慧相機,提供了一個安全的生態系。

電腦視覺利用人工智慧 (AI) 讓智慧相機等裝置可以解釋與理解影像中正發生的事情。利用科技重新打造一個與人眼一樣強大的感測器,為電腦開啟了廣泛的使用情境,來執行之前需要人類視線才能進行的任務,也因此難怪電腦視覺正迅速成為物聯網 (IoT) 領域內擷取真實世界數據並處理的最重要的方式之一。

從計算停車場內的車輛數目,到監控零售商店內的客流量,或是找出生產線上的瑕疵,智慧相機在一系列商業與工業的應用中使用電腦視覺。在家中,智慧相機可以告訴我們包裹何時送達、狗狗是否從後院溜出去,或是嬰兒何時醒來。

在商業與消費領域,智慧相機技術的採用正呈現指數級成長。市場研究與策略諮詢公司 Yole Développement 在 2020 年發表的《用於監控與安全用途的相機與運算》報告中,估計全球僅僅是監視用的相機大約就有 10 億台,到 2024 年,預估此安裝數字可望再翻倍成長。

這項技術在安全性、異質運算、影像處理與雲端服務等方面有了關鍵性的進展,使得未來電腦視覺產品的能力能更勝以往。

智慧相機的安全性是電腦視覺的首要考量

IoT 的安全性是科技產業需考量的關鍵優先要務與挑戰。確保所有 IoT 裝置不受惡意人士利用,是相當重要的,特別是當裝置已經擷取並儲存與民眾、地點及高價值資產有關的影像資訊的時候。

未經授權存取負責監看工廠、醫院、學校或家庭的智慧相機資料,不但是對隱私權的重大侵犯,也可能導致難以計數的傷害,包括從密謀犯罪到機密資訊外洩。智慧相機遭到破解同時也會提供一個破口,讓惡意人士可以存取網路內的其它裝置,從門禁、暖氣與照明控制,到對整個智慧工廠的管控。

我們必須要能夠信任智慧相機來替大家維持安全性,而非另闢新的開發途徑。Arm 透過供 Cortex-A 與 Cortex-M 的 Arm TrustZone 等產品組合,多年來持續重視 IoT 裝置的安全性。

在未來,基於 Armv9 架構的智慧相機晶片,將透過 Arm 機密運算架構 (CCA) 進一步強化電腦視覺產品的安全性。

除此之外,Arm 也倡導如 PSA 認證PARSEC 等安全性最佳實踐的共同標準。設計這些標準的用意,在於確保未來所有智慧相機的部署都擁有內建的安全性:從影像感測器首次記錄情境到資料的儲存,不管資料是儲存在本地或是利用先進的安全與數據加密技術在雲端儲存。

終端 AI 驅動智慧相機裝置的電腦視覺

Arm 提供

影像感測器技術與終端 AI 的結合,讓智慧相機得以擷取大量電腦視覺資料,以進行越來越複雜的推論。智慧相機內的全新機器學習能力,可以滿足多元的使用情境,例如檢測個別的人或動物、辨識特定物件,以及讀取車牌。所有這些電腦視覺的應用,都需要在終端裝置運行的機器學習演算法,而不是把資料送到雲端進行推論。這一切都是把運算力移至更接近數據的地方。

例如,在繁忙的十字路口使用的智慧相機,可以用電腦視覺來確定一整天下各個時段等待紅燈的車輛數量與類型。藉由使用機器學習來處理自己的資料並推論出涵義,智慧相機可以自動調整它的時序,以便在沒有人類參與的情況下,自動減少交通雍塞並限制排放的增加。

Arm 投入終端及其他應用 AI 的資源透過各種 Ethos 機器學習處理器得到了實現:具備高度擴充性與效率的神經網路處理器 (NPU) 透過多核心技術,支援每秒從 0.1 到 10 TOP 的運算速度。軟體在 ML 領域也扮演重要的角色,這也是為何 Arm 藉由 Arm 類神經網路開發套件(NN SDK)供微控制器使用的 TensorFlow Lite(TFLM)等開源框架,持續支援開源社群的原因。

這些機器學習工作負載框架是基於既有的神經網路以及高效的 Arm Cortex-A CPU、Mali- GPU 繪圖處理器、Ethos NPU 與 Arm Compute 函式庫以及 CMSIS-NN,後者是為 Cortex-A CPU、Cortex-M CPU 與 Mali GPU 架構優化的低階機器學習函數集。

透過第二代可擴展的向量延伸指令集 (SVE2),Armv9 架構藉由提供可取用的向量運算(可以平行運算的資料的個別陣列),同時也支援強化的 AI 能力。如此一來可以在不用重寫或重新編譯程式碼之下擴充硬體向量長度。在未來,矩陣乘法的延伸指令(強化機器學習的重要元素),未來將進一步推動 AI 的發展。

雲端上互連的智慧相機

雲端與邊緣運算也有助於加速智慧相機的採用。傳統的閉路電視系統 (CCTV) 架構透過網路錄影機 (NVR) 或數位錄影機 (DVR),讓相機的資料在本機儲存。這種模式有諸多的限制,包括需要用到龐大的儲存空間以及每台 NVR 上有限的實體連接端子數量。

轉移到雲端原生的模式,大大簡化了智慧相機的推出:任何數量的相機都可以透過下載到裝置的組態檔案進行配置與管理。這也是一種良性循環:來自智慧相機的資料可以針對特定的使用情境來訓練雲端上的模型,這樣可以讓相機更加智慧。而相機越智慧,它們需要上傳的數據量就會越小。

雲端運算的使用也能藉由結合來自多台智慧相機的電腦視覺資料,實現 AI 感測器融合過程的自動化。以我們稍早提出,部署在十字路口的智慧相機為例,雲端 AI 演算法可以結合來自多台智慧相機的資料,以便不斷地調整整個城市裡的交通號誌的時序,讓交通更為順暢。

Arm 支援從雲端到終端所需的連續處理能力。Cortex-M 微控制器與 Cortex-A 處理器驅動智慧相機,而 Cortex-A 處理器同時也驅動邊緣閘道。雲端與邊緣伺服器則採用 Neoverse平台的能力。

智慧相機的全新軟硬體需求

Arm 提供

電腦視覺裝置的運算需求每年持續成長,超高解析度的視訊擷取(8K 60fps)與 64 位元(Armv8-A)的處理是目前高階智慧相機產品的標準。

因此次世代智慧相機內的系統單晶片 (SoC),必須採用異質架構,並結合 CPU、GPU、NPU 與專屬的硬體,以用於電腦視覺、影像處理、視訊編碼與解碼等功能。

儲存也是一個關鍵的問題:儘管終端 AI 可以藉由在相機本地處理影像來降低儲存的需求,但許多使用情境還是因為安全與安全性的原因,需要把資料保存在某個地方,不管是裝置上,或是邊緣伺服器或雲端上。

為了確保能妥善儲存高解析的電腦視覺數據,全新視訊編碼與解碼標準諸如 H.265 和 AV1,已成為實際上的標準。

新的使用情境持續驅動創新

整體來說,來自新的使用情境的需求推動了對於運算與影像技術全面持續改善的需求。

當我們今日想到像閉路電視系統相機等影像擷取裝置時,我們不應該再想像透過相機鏡頭一張張難以辨識面容的粗糙影像。電腦視覺的進步-效率更高、威力更強大的運算結合 AI 與機器學習的智慧,讓智慧相機變成不僅僅只是影像感測器,而是影像解釋器。這個連結類比與數位世界間的橋樑正為我們開啟在數年前還難以想像的全新應用與使用情境。

在 2021 年 7 月 2 日,Arm 將參加《物聯網暨嵌入式設計網路研討會》分享物聯網裝置的應用趨勢,並透過智慧相機的使用情境帶領開發者瞭解如何透過 Arm AI Platform 強化 ML 系統設計與提高裝置智慧,歡迎報名

報名網路研討會

責任編輯:Mia
核稿編輯:MindyLi


Google Cloud Next Recap: Taiwan 精華篇上線!11/10 多支中文精選影音一次看

為了讓台灣市場更深入獲得第一手的 Google Cloud Next '21 產品與技術發表,Google 台灣擷取適合台灣市場的主題內容,推出 31 支的中文影音內容,探討各種 Google Cloud 相關主題,並進一步帶來啟發。
評論
評論

一年一度的 Google Cloud Next 盛會以往都是實體舉行,自去年(2020)受疫情影響後轉為線上舉辦,且開放全球使用者免費報名參加。為了讓台灣市場更深入獲得第一手的 Google Cloud Next '21 產品與技術發表,Google 台灣今年也持續自 Google Cloud Next '21 線上發表中,擷取適合台灣市場的主題內容,將在 11 月 10 日 推出 15 支精彩的重點摘要、精選 16 支主題影片添加中文字幕,共計 31 支的中文影音內容,帶來最新的 Google Cloud 雲端技術發展,並期待替市場帶來啟發。

立即報名觀看 Google Cloud Next 精選中文影音內容

Google Cloud Next 雲端盛會為企業帶來的好處

在本次 Google Cloud Next 會中發表了一系列的創新技術,這些新發表的技術無不是憑藉著業界最乾淨安全的 Google 雲端服務,支持各行各業解決眼前所面臨的急迫問題。尤其現在可以說是每一家公司都轉型成為了科技企業,但最終能獲得成功的企業,不只是要做出與資料儲存以及運算相關的基礎架構決策,還要能夠運用雲端技術來推動數位轉型,以徹底改變整間公司的工作模式與創新思維。因此,無論是要提升內部營運效率、增加業務成長,或是開發創新可能,在 Google Cloud Next 雲端大會中都有機會找到企業所需的答案。

Google Cloud Next 雲端盛會精華篇,五大主題一次掌握

在  Google Cloud Next 中跟著 Google 設計的學習歷程,逐步領略企業的數位轉型過程,以及未來可期的技術發展。本次的中文內容涵括五大主題,分別為:

  • 開放式基礎架構:為了協助企業能在不受任何地理環境的限制下,加速雲端部署的腳步,Google 發表了一系列的託管式硬軟體解決方案 Google Distributed Cloud,幫助建構不受任何地理環境限制的雲端環境。
  • 資料與分析:為了協助企業建立具備即時分析能力的新一代資料基礎架構,並支援處理重要業務資料的應用程式,Google 也發佈了整合度最高、資料分析最完善的 AI 解決方案。
  • Google Workspace:透過建立一個數位工作場所,為超過三十億名使用者提供不受地理環境限制的交流和協作服務,完善所有業務環節間的協同合作,就是 Google Workspace 的使命。會中將透過 Smart Canvas 等輔助工具,提升使用者的工作效率,並進一步提供橫跨於 Docs、Gmail、Meet 和 Chat 等產品中的無縫式用戶體驗,以滿足第一線使用者的不同需求。
  • 安全性:今時今日,各個產業的機構組織都面臨前所未見的資安難題。為了提供更多人安全的網路環境,Google 宣佈了兩項重要政策,分別是全新的 Google 網路安全行動團隊 (簡稱 G-CAT),以及全新的 Work Safer 計畫。
  • 永續發展:為了提供業界最乾淨的雲端環境,Google 也發表了幾項創新技術,協助企業因應氣候變遷,採取立即行動。例如:提供所有客戶免費使用 Carbon Footprint 碳足跡追蹤功能。

立即免費觀看 Google Cloud Next Recap: Taiwan!了解更多詳細精彩的 Google Cloud Next 雲端盛會精華