【Arm 專欄】Arm CMSIS 助力智能加速與高效微控制器部署

最初,CMSIS 核心是用於基於 Arm Cortex-M 的微控制器,今日,越來越多的 Arm Cortex-A 類的裝置被應用於高效能微控制器,運行裸機軟體 (bare-moftware) 或即時操作系統。
評論
Arm 提供
評論

本文由 Arm 投稿。

當第一台 Arm Cortex-M3 裝置在 2004 年上市時,人們很快就清楚地認知,需要一個獨立於供應商的硬體抽象層來簡化軟體重用以減少新軟體開發人員的學習曲線。Arm Cortex  微控制器軟體接口標準 (CMSIS) 的推出使得處理器和周邊具有一致的裝置支援和簡單的軟體介面,從而減少了新裝置上市的時間。自最初推出以來,CMSIS 得到了大量的採用,如今,來自世界各地 30 多家晶片供應商,多達 5500 多件裝置都獲得了公開支援。

最初,CMSIS 核心是用於基於 Arm Cortex-M 的微控制器,今日,越來越多的 Arm Cortex-A 類的裝置被應用於高效能微控制器,運行裸機軟體 (bare-moftware) 或即時操作系統。為了支援這個使用情境,CMSIS 核心擴展延伸至能支援 Cortex-A5/7/9 內核和週邊裝置,例如支援 NXP、Microchip和Renesas 等主要晶片供應商的 Cortex-A 類裝置,這使得過去為 Cortex-M 裝置所創建的軟體元件可以重用。

CMSIS 組件

從 CMSIS 核心開始,近年來來陸續推出了幾個組件。優化後的CMSIS – DSP函式庫在業界很受歡迎,因為無論是否以可用的浮點單元,它都對 Cortex 技術提供了出色的支援。Mathworks 的 MATLAB 或 ASN 的 Filter Designer 等開發工具可以匯出可直接用於微控制器專案的 CMSIS – DSP 代碼。

CMSIS - RTOS API 可用於目前最流行的嵌入式工程中的即時操作系統,從 Arm Keil RTX5 的原生導入開始,FreeRTOS 和 Zephyr (Linux基金會提供的RTOS) 都有包裝器 (wrapper) 可用。在終端使用者應用中使用 CMSIS - RTOS API 也為功能安全鋪平了道路,因為 Keil RTX5 可用於功能安全運行時系統 (FuSa RTS),可應用於汽車、醫療、工業和鐵路應用。

許多開發專案需要在工程團隊之間 (內部或客戶) 以受控的方式共用軟體元件。CMSIS – Pack 是一種機制,它提供版本控制和定義良好的 XML 檔,其中包含套裝軟體的基本資訊。第三方的軟體合作夥伴以包 (pack) 的形式提供他們的元件,如 Micrium、RealTimeLogic 和 WolfSSL,CMSIS – Pack 也被大型晶片供應商用於裝置和板子的支援,如Nordic、新唐科技、NXP、Microchip、Silicon Labs 和 Texas Instruments。

裝置運行的中介軟體 (例如USB或網路堆疊) 需要底層裝置的驅動程式,為了簡化開發人員的工作時間,CMSIS – drivers 提供了一個標準化的介面來訪問底層硬體,而不需要調整中介軟體以適應新晶片的驅動程式包 (driver package)。許多 CMSIS 支援的裝置已經提供了這些 CMSIS 驅動程式,因此能協助更快地進入市場。

CMSIS - NN

雲運算利用互聯網上的大型伺服器來實現大數據應用。隨著這種方式越來越流行,必須減少用於終端節點和伺服器之間通信的資料頻寬,以避免網路超載。邊緣運算將許多資料處理帶回僅通過低頻寬資料連接到互聯網的終端節點。機器學習和神經網路應用可以在低功耗的 Cortex-M 裝置上運行,這些裝置通常甚至是由電池供電的,為了支援這些應用,我們提出了CMSIS - NN,這是一種經優化過的軟體核心開放原始碼函式庫,可極大化Cortex-A 與 Cortex-M 核心的 NN 效能,且只需使用最小的經常性記憶體,CMSIS – NN 提供了一個API,能用於處理器內核上運行一組高效的神經網路內核,在這種應用中,核心 (Kernel) 被開發以最大化神經網路效能和最小化所需的記憶體。

CMSIS-NN 類神經網路核心的總覽如下圖顯示,核心編碼包含兩個部份: NNFunctions 與NNSupportFunction。NNFunctions 包含實作常見類神經網路網路層類型的函數,如卷積 (convolution)、深度可分離卷積結構 (depthwise separate convolution)、全連接 (fully-connected; 即內積 inner-product )、池化 (pooling) 與啟動 (activation)。這些函數被應用程式碼用來實現類神經網路的推論應用。核心API則刻意保持簡單,以便輕鬆地重新鎖定到 TensorFlow、Caffe 或PyTorch 等各式機器學習框架。NNSupportFunctions 包含公用的程式函數,例如 NNFunctions 使用的數據轉換與激勵函數表 (activation table)。應用程式碼也可使用這些函數來建構更複雜的 NN 模組,如長短期記憶 (LSTM) 或閘控再流裝置單元 (GRU)。

Arm 提供

基於延遲、耗電量、成本、網路頻寬、可靠性、隱私與安全等各種考量,機器學習 (ML) 演算法朝向物聯網終端移動,因此,人們對於開發類神經網路 (NN) 解決方案,並將它們部署在例如 Arm Cortex-M 微控制器系統這類低功率終端裝置的興趣與日俱增。CMSIS – NN 無縫地整合入流行的神經網路框架 (如TensorFlow或Caffe) 開始的工作流中,並使用Arm NN SDK 將工作負載部署到各種目標上。

為了協助開發者在邊緣及終端快速部署人工智慧,Arm 致力於打造開源 AI 軟體生態系,以極大化類神經網路 (NN) 效能。透過 CMSIS-NN 函式庫與多樣化的 ML 框架結合,例如 TensorFlow Lite Micro、PyTorch、ONNX 等,使開發者能利用 Arm 處理器以及微神經網路處理器 (micro-NPU) 優化人工智慧工作負載,有效地在 MCU 與 MPU 進行智能加速與快速應用部署。

Arm 提供

2021 Arm 終端 AI 運算生態高峰會

Arm 提供

為了協助工程師與開發者更輕鬆地高效部署機器學習,Arm 將在 9月14 日於線上舉辦「2021 Arm 終端 AI 運算生態高峰會」,邀請 Arm AI 技術專家、台大電機系副教授李宏毅先生,以及包括 TensorFlow、Skymizer、賽微科技 (Cyberon) 與 Edge Impulse 在內的生態系夥伴分享開源 ML 框架、Endpoint AI 解決方案、語言機器學習研究、AI 系統軟體與指令客製工具,並將首次公開演示的 Arm Cortex-M55 處理器與  Ethos-U55 micro-NPU 帶來的優異機器學習效能。參加者不僅能了解Arm對於人工智慧學習的願景,Arm AI 解決方案,還能見到 tinyML 生態系的實際演示,並與各位產學界技術專家進行免費的線上交流,機會難得,歡迎工程師、開發人員、架構設計師、系統設計製造者、產品經理、企業主管以及對機器學習有興趣之觀眾報名,讓 Arm 協助你輕鬆高效部署機器學習!

責任編輯:Mia
核稿編輯:Anny



洞見機會,創新未來──新創如何用雲端打出一手好牌:AWS Startup Day 7 月 15 日線上重磅回歸

AWS Startup Day 即將於 7 月 15 日重磅回歸,此次不只聚焦新創趨勢與數位應用,更聯合 AWS 創投新創媒合會,提供參與者豐富的資源,所有與新創生態系相關的夥伴都不容錯過。
評論
Photo Credit:AWS
評論

隨著 Web3.0 去中心化的趨勢開展與現在進行式的產業數位轉型浪潮,雲端技術早已成為許多早期新創發展產品或服務的關鍵金鑰,甚至為其奠定高速發展的穩健根基。而台灣雲端服務供應龍頭 AWS(亞馬遜網路服務公司)更自 Web2.0 時代開始就從未缺席,始終在技術新知、應用實務等方方面面致力支持新創,其中最具代表性的免費論壇活動──AWS Startup Day 也即將於今年 7 月 15 日重磅回歸,在線上和參與者相會!

今年度 AWS Startup Day 持續聚焦新創趨勢與數位應用,精心規劃八場新創專題演說,非常適合長期關注新創生態系統的相關人士,或是正要起步、成長的新創夥伴報名參加。

立即報名 2022 AWS Startup Day!

五大特色議程安排,給你滿滿新創觀點與技術乾貨

Photo Credit:AWS

「新創如何運用雲端科技打出一手好牌,投注資源延續未來業務?」這是今年 AWS Startup Day 欲探討的核心議題之一。為解答雲端科技之於新創企業的珍貴價值,AWS 以「國際市場」、「創投趨勢」、「多元創業」、「雲端技術」、「焦點產業」等五大特色精心規劃講座內容,完整收錄新創趨勢脈動、雲端技術實務、佈局策略觀點與創投媒合等新創事業歷程的重要節點。為此,AWS 不只力邀 Web3.0、電商、串流、B2B 解決方案等不同領域的新創合作夥伴,分享選擇 AWS 開展新創事業的策略考量,更毫不藏私地解析雲端技術如何快速又穩定的開拓事業。

Photo Credit:AWS

無論新創還是育成,想要洞見機會就不能錯過 AWS Startup Day

Photo Credit:AWS

任何產業或技術的發展,不單要前人的引領,也需要後繼者無窮盡的創新思維與打破框架的勇氣,缺乏其中一個環節,生態系都無法平衡永續。所以無論是天使創投、孵化器,還是剛起步或處於早期新創的企業,只要你身為新創生態系統中的一份子,渴望尋求創意突破或開展新興業務,AWS Startup Day 都是你絕對不能錯過的最佳活動。

填單取得 2022 AWS Startup Day 免費入場券!

尋找下一個新創獨角獸──同場加映 AWS 年度創投新創媒合會

本次 AWS Startup Day 除新創及創投相關講座外,AWS 更直接邀請多家國際及台灣知名創投公司,與 AWS Startup Day 同場舉辦今年度唯一的線上「新創創投媒合會」,欲透過串聯本地深具潛力的新創與創投,幫助台灣新創企業獲得更豐富的資源,孕育下一個獨角獸。

根據 AWS 釋出的消息,媒合會將以早期天使輪或 Pre-A 輪融資為主,重點關注 AI/ML工具和平台、智能零售、MarTech、Web3.0、媒體和娛樂等產業,並以快速輪流的形式替新創獲得最大的曝光。

立即報名 2022 AWS Startup Day,共構台灣新創生態系統!