【Arm 專欄】用智慧電視姿勢追蹤在家健身!看 Arm AI Platform 如何助力智慧家庭應用

疫情下在家健身的需求崛起,Arm 的 AI Platform 就利用 深度學習來讓智慧電視看懂使用者的姿勢,讓你在家健身也能像有教練指點。
評論
Arm 提供
評論

新冠肺炎大流行迫使人們花更多的時間在室內,加上智慧電視近來的進展提供了全新的需求與機會,使得我們能夠將新興的體驗引入客廳。

許多人現在的生活形態與以前相比差異很大,藉由適當的科技協助,將使在家健身更方便與更有效,對許多消費者而言,在未來遠距健身將持續是個吸引人的選項。相機是這項科技關鍵的一環,而相機重返數位電視 (DTV) 市場也創造了機會。由於現代的電視都是高解析與大螢幕,這些用戶體驗有可能非常沉浸式,也能為健康帶來好處。

透過應用於大螢幕智慧電視的 app,能讓舒適地在家中健身成為可能。我們首先簡介一下這個 app,接著說明適合 Android 電視的身體姿勢預估與追蹤的深度學習,並討論在選擇正確的卷積類神經網路 (CNN) 時的主要考量點。

概述

除了量化教練與學員兩人身體姿勢差異帶來的挑戰,我們必須解決如何從兩個影像串流中,正確辨識出對應圖框的問題。教練與學員在健身時難免會產生延遲。基於這個原因,同時考量不同的健身速度,我們必須進行搜尋以決定要比較的是哪兩張影像。

如下圖所示,在我們的應用程式中,正在將兩個視訊串流視覺化,並加上骨骼數據以及用百分比呈現的分數。

圖一: 使用 BlazePose 模型的健身應用。Arm 提供。

本文將聚焦在智慧電視上,因為這個領域具有龐大的潛力。不過,在此討論到的許多軟體模型與工具,也適用於其它你可能想要鎖定的消費性裝置。

深度學習

自從微軟公司開發出 Kinect 感測器以及估計身體姿勢的 Random Forest 模型,至今已有近十年,它突顯出這項任務對於許多終端用戶應用的重要性。在那之後,機器學習 (ML) 研究就持續聚焦在 2D 與 3D 人體姿勢估計。近年來,深度學習已經顯現龐大潛力,目前在這個領域是領先市場的技術。

以深度學習估計與追蹤身體位置時,我們必須考慮很多。針對智慧電視、手機與家庭裝置的解決方案,通常效能必須很高,因此選擇適當的 CNN 模型是相當具挑戰性的工作。估計體姿的輕量模型通常將來自相機的 RGB 影像作為身體關鍵點位置的 2D 或 3D 輸入與輸出,可以透過單一端對端的模型來執行,也可以分成兩個模型:第一個模型負責人的檢測,第二個模型則負責定位關節或地標的位置。第一類模型的範例是 PoseNet (基於 MobileNetV1 或 ResNet50),而第二個範例則是 BlazePose(類似 MobileNetV2,具備客製化區塊)

圖二: BlazePose 模型的結果,紅色表示檢測框。Arm 提供。

最重要的是精準度與效能。為了更佳地了解精準度,我們必須檢視訓練的資料集以及錯誤度量,但往往還是無法一窺全貌。資料集常常由人工標註,可能會因自遮蔽與低解析產生巨大的錯誤,即便我們使用既有的 CNN 模型,我們應該考慮打造自己的小型資料集以供評估。如此一來,我們可以更瞭解它在特定使用情境中的表現。此外,我們必須不斷地評估效能,權衡精準度 vs. 效能。要瞭解不同模型與推論引擎的效能,可以先從 TensorFlow 的基準校正工具著手。

針對 TFLite 模型在 Android 裝置上運行推論有許多選項,包括軟體 (SW) 與硬體 (HW),使得大家可能馬上就對此感到困惑。在軟體方面有NNAPI、TFLite CPU 或 GPU(繪圖處理器)代理;在硬體方面,可以在許多可供推論的運算單元中選擇,例如 CPU、GPU、NPU(神經網路處理器)等。以 Arm 的平台來說,使用 ArmNN TFLite delegate 是個好選項,它可以提供更高層級的抽象化。或者您也可直接鎖定 Arm 運算函式庫 (ACL) 與 Arm NN,它們可以讓用戶進行更多的管控。對我們而言,兩種模型都在 Mali GPU 上達到最佳效能,針對不同硬體裝置效能情況可能有所不同。

圖三: ArmNN 推論流程圖。Arm 提供。

其它考量

既然模型的效能只是整個考量點的一環,還要考慮到前處理與後處理運作。例如,以 PoseNet 模型來說,採用 257 x 257的 RGB 影像輸入,並輸出熱點圖與偏移向量,這些都必須進行處理,以確定每個關節在原相機影像中的最終位置。另一方面,BlazePose的地標模型則輸出 x、y 與 z 座標,以及每個關節的存在與能見度。這聽起來似乎更簡單,但實際上卻涉及更多的處理階段。這是因為地標模型輸出的座標必須投影到原始圖框上,從而恢復與檢測模型相關的預處理和後處理階段。

圖四: BlazePose 模型示範。Arm 提供。

這些處理階段與應用裡的其它功能,也需具備很高的效能,且身為開發人員,會想要儘可能地利用您的系統。您需要專注優化能提供最顯著效能提升的部份。針對這個目的,Arm 的Streamline Performance Analyzer 是適合的工具。它針對您系統中不同的單元,提供詳細的硬體計數器。隨後,倘若您在程式碼中增加註解,您可以看到它在管線中對每個軟體階段的確切影響。Florent 的部落格針對 ML 應用,提供針對 Streamline 很好的概述。由於我們的應用裡同時有視訊串流與相機串流,必須對兩者都進行推論。幸運的是,可以預先進行處理教練的視訊。我們可以先離線把骨骼的位置寫入檔案中,然後即時讀取、計算分數並開始繪圖,從而提供明顯的效能提升。

結論

本文分享了使用深度學習進行體姿估計時面臨的挑戰與限制,從 BlazePose 模型看到一些不錯的成果,讓我們更加瞭解如何透過 Android 智慧電視打造健身應用。如同時下其他的高階行動裝置,數位電視也可以提供全新的互動體驗,並將這些體驗帶進您客廳的螢幕上。增加深度感測器會進一步提升姿勢估計的準確度與強固性,並考量 3D 重組與情境理解,以獲得更身歷其境的沉浸體驗。

欲了解更多 Arm AI Platform 針對開發者提供的實用協助與設計指引,請造訪相關網頁,以助力您實現機器學習與深度學習應用。

責任編輯:Mia
核稿編輯:MindyLi

延伸閱讀:



Akamai 擁有最卓越的執行能力,獲《Critical Capabilities》肯定

Akamai 是全球最受信賴的數位體驗保護和遞送解決方案供應商,連續四年獲得《Magic Quadrant for Web Application and API Protection (WAAP)》評選為領導者。
評論
圖片來源:Akamai
評論

Akamai Technologies, Inc. 是全球最受信賴的數位體驗保護和遞送解決方案供應商,在 2021 年《Magic Quadrant for Web Application and API Protection (WAAP)》(網路應用程式與 API 保護 (WAAP) Magic Quadrant) 中,獲 Gartner 評選為領導者。

Gartner 分析師評鑑 11 家廠商,並依據各廠商願景之執行力和完整度給分。在採用新命名的報告中,Akamai 在執行能力方面獲得最高評價。這份報告是 Gartner《Magic Quadrant for Web Application Firewalls》(網路應用程式防火牆 Magic Quadrant) 的進化版本,而 Akamai 在過去四年連續獲 Gartner 於該報告中評選為領導者。

Gartner 也發表了 2021 年《Critical Capabilities for Cloud Web Application and API Protection》(雲端網路應用程式與 API 保護的關鍵功能) 報告。這是 Gartner《Magic Quadrant for Web Application and API Protection》(網路應用程式與 API 保護 Magic Quadrant) 的配合報告,此報告評估了 WAAP 產品保護網路應用程式與 API 的能力。在此報告內,Akamai 於四大使用案例的其中三項皆獲得最高分,包括 API 安全與 DevOps (3.60/5)、高安全性 (3.76/5),以及網頁規模的業務應用程式 (3.91/5)。

根據 Gartner《Hype Cycle for Application Security, 2021》(2021 年應用程式安全技術成熟度曲線) 指出:「雲端網路應用程式和 API 保護產品是雲端遞送式多功能網路應用程式安全產品,且須整合至少四項核心功能:網路應用程式防火牆、DDoS 保護、機器人程式管理和 API 保護。WAAP 是網路應用程式防火牆所扮演之角色的進化版,而此進化是因為企業需要更有效地防禦多種威脅手法,同時大幅增加對外公開的網路應用程式和 API。」

Akamai 親眼見證叫用 API 的幅度大幅增加。為了確保 API 安全,需要量身打造的解決方案,以因應深度 API 訊息檢查、API 規格管理、驗證與授權,以及反自動化等問題。

Gartner 表示:「安全與風險管理領導廠商所選用的 WAAP,應能夠提供容易使用的控制功能,並可針對先進機器人程式與日益進化的 API 攻擊,提供更為專門的保護。」根據 Gartner 指出:「到 2026 年時,40% 的組織會根據進階 API 保護及網路應用程式安全功能來選擇 WAAP 供應商。」

Akamai 相信,全方位的網路應用程式和 API 保護解決方案需包含相鄰安全功能,以涵蓋範圍不斷擴張的威脅。在 2020 年,Akamai 推出首款引進自動化 API 探查與分析功能的雲端 WAAP 解決方案。

Akamai 在今年推出調適性安全引擎,這是其網路應用程式安全產品組合的核心基礎,其設計可自動因應攻擊的複雜程度來調整防護,同時減少維護和調整規則的工作。另外亦包含機器人程式能見度與緩解能力,以針對機器人程式對數位資產的影響提供深入剖析。

Akamai 應用程式與網路安全產品管理副總裁 Amol Mathur 表示:「網路應用程式與 API 安全有一項不變的特質,那就是變化 Akamai 持續在 WAAP 產品中推動大幅進展,讓我們的客戶能更輕鬆跟上迅速加快與變動的威脅情勢,同時提高營運效率並增加開發人員工具。我們相信 WAAP 產品組合的這些重要進展,是讓我們在 Gartner《Magic Quadrant》報告中贏得領導廠商地位的功臣。」

Akamai 技術支援和管理服務,持續獲得客戶肯定

根據報告指出:「Akamai 的客戶在客戶支援體驗方面,給予該廠商極高評價,包括他們從技術支援和管理服務獲得的專業知識和協助。」

此外,Akamai 保護資料、網站和應用程式的能力,以及其網路安全解決方案的使用簡便性,均獲得客戶的認可。

根據 2021 年 9 月 20 日的 Gartner Peer Insights 評論,以下是 Akamai 客戶的意見:

  • 一位服務業的技術主管表示:「這套軟體 (Kona Site Defender) 擁有絕佳的功能,可保護企業資產和組織資源免受 DDoS 攻擊和各種網路威脅的影響。它在處理威脅時能提供高準確度。它能以更準確的方式保護網站和裝置,包括行動裝置在內。它能封鎖與廣告相關的惡意網站和內容,這些都可能損害企業安全。」
  • 一位零售業的軟體開發工程師表示:「適用於 DDoS 和網路應用程式攻擊的最佳安全產品。KSD 是我用過最好的安全工具。它簡單易用,而且具有出色的支援能力。KSD 提供可自訂的保護機制,這非常有用,且其功能都相當實用又切中要點。」
  • 一位金融業的網路自動化專家表示:「我們與 Akamai 合作以保護我們的核心資產,而每一分錢都值回票價。我們每年都會進行一次 DDoS 模擬演習,以測試 Akamai DDoS 和 WAF 的控制功能,而測試結果證明我們的投資是值得的。」
  • 一位金融業網路產品經理指出:「Kona 提供了顯著的安全改善,並且賦予我們過去無法獲得的可見度。它是我們的策略中的核心產品,以確保提供給客戶的應用程式安全無虞。」

歡迎於此處免費參閱 2021 年 9 月 20 日所發表的 Gartner《Magic Quadrant for Web Application and API Protection》(網路應用程式與 API 保護 Magic Quadrant) 完整報告,內含 Magic Quadrant 圖表。如需有關 Akamai WAAP 產品的額外資訊,請造訪此處

本文章內容由「猿聲串動」提供,經關鍵評論網媒體集團廣編企劃編審。