【Arm 專欄】用智慧電視姿勢追蹤在家健身!看 Arm AI Platform 如何助力智慧家庭應用

疫情下在家健身的需求崛起,Arm 的 AI Platform 就利用 深度學習來讓智慧電視看懂使用者的姿勢,讓你在家健身也能像有教練指點。
評論
Arm 提供
評論

新冠肺炎大流行迫使人們花更多的時間在室內,加上智慧電視近來的進展提供了全新的需求與機會,使得我們能夠將新興的體驗引入客廳。

許多人現在的生活形態與以前相比差異很大,藉由適當的科技協助,將使在家健身更方便與更有效,對許多消費者而言,在未來遠距健身將持續是個吸引人的選項。相機是這項科技關鍵的一環,而相機重返數位電視 (DTV) 市場也創造了機會。由於現代的電視都是高解析與大螢幕,這些用戶體驗有可能非常沉浸式,也能為健康帶來好處。

透過應用於大螢幕智慧電視的 app,能讓舒適地在家中健身成為可能。我們首先簡介一下這個 app,接著說明適合 Android 電視的身體姿勢預估與追蹤的深度學習,並討論在選擇正確的卷積類神經網路 (CNN) 時的主要考量點。

概述

除了量化教練與學員兩人身體姿勢差異帶來的挑戰,我們必須解決如何從兩個影像串流中,正確辨識出對應圖框的問題。教練與學員在健身時難免會產生延遲。基於這個原因,同時考量不同的健身速度,我們必須進行搜尋以決定要比較的是哪兩張影像。

如下圖所示,在我們的應用程式中,正在將兩個視訊串流視覺化,並加上骨骼數據以及用百分比呈現的分數。

圖一: 使用 BlazePose 模型的健身應用。Arm 提供。

本文將聚焦在智慧電視上,因為這個領域具有龐大的潛力。不過,在此討論到的許多軟體模型與工具,也適用於其它你可能想要鎖定的消費性裝置。

深度學習

自從微軟公司開發出 Kinect 感測器以及估計身體姿勢的 Random Forest 模型,至今已有近十年,它突顯出這項任務對於許多終端用戶應用的重要性。在那之後,機器學習 (ML) 研究就持續聚焦在 2D 與 3D 人體姿勢估計。近年來,深度學習已經顯現龐大潛力,目前在這個領域是領先市場的技術。

以深度學習估計與追蹤身體位置時,我們必須考慮很多。針對智慧電視、手機與家庭裝置的解決方案,通常效能必須很高,因此選擇適當的 CNN 模型是相當具挑戰性的工作。估計體姿的輕量模型通常將來自相機的 RGB 影像作為身體關鍵點位置的 2D 或 3D 輸入與輸出,可以透過單一端對端的模型來執行,也可以分成兩個模型:第一個模型負責人的檢測,第二個模型則負責定位關節或地標的位置。第一類模型的範例是 PoseNet (基於 MobileNetV1 或 ResNet50),而第二個範例則是 BlazePose(類似 MobileNetV2,具備客製化區塊)

圖二: BlazePose 模型的結果,紅色表示檢測框。Arm 提供。

最重要的是精準度與效能。為了更佳地了解精準度,我們必須檢視訓練的資料集以及錯誤度量,但往往還是無法一窺全貌。資料集常常由人工標註,可能會因自遮蔽與低解析產生巨大的錯誤,即便我們使用既有的 CNN 模型,我們應該考慮打造自己的小型資料集以供評估。如此一來,我們可以更瞭解它在特定使用情境中的表現。此外,我們必須不斷地評估效能,權衡精準度 vs. 效能。要瞭解不同模型與推論引擎的效能,可以先從 TensorFlow 的基準校正工具著手。

針對 TFLite 模型在 Android 裝置上運行推論有許多選項,包括軟體 (SW) 與硬體 (HW),使得大家可能馬上就對此感到困惑。在軟體方面有NNAPI、TFLite CPU 或 GPU(繪圖處理器)代理;在硬體方面,可以在許多可供推論的運算單元中選擇,例如 CPU、GPU、NPU(神經網路處理器)等。以 Arm 的平台來說,使用 ArmNN TFLite delegate 是個好選項,它可以提供更高層級的抽象化。或者您也可直接鎖定 Arm 運算函式庫 (ACL) 與 Arm NN,它們可以讓用戶進行更多的管控。對我們而言,兩種模型都在 Mali GPU 上達到最佳效能,針對不同硬體裝置效能情況可能有所不同。

圖三: ArmNN 推論流程圖。Arm 提供。

其它考量

既然模型的效能只是整個考量點的一環,還要考慮到前處理與後處理運作。例如,以 PoseNet 模型來說,採用 257 x 257的 RGB 影像輸入,並輸出熱點圖與偏移向量,這些都必須進行處理,以確定每個關節在原相機影像中的最終位置。另一方面,BlazePose的地標模型則輸出 x、y 與 z 座標,以及每個關節的存在與能見度。這聽起來似乎更簡單,但實際上卻涉及更多的處理階段。這是因為地標模型輸出的座標必須投影到原始圖框上,從而恢復與檢測模型相關的預處理和後處理階段。

圖四: BlazePose 模型示範。Arm 提供。

這些處理階段與應用裡的其它功能,也需具備很高的效能,且身為開發人員,會想要儘可能地利用您的系統。您需要專注優化能提供最顯著效能提升的部份。針對這個目的,Arm 的Streamline Performance Analyzer 是適合的工具。它針對您系統中不同的單元,提供詳細的硬體計數器。隨後,倘若您在程式碼中增加註解,您可以看到它在管線中對每個軟體階段的確切影響。Florent 的部落格針對 ML 應用,提供針對 Streamline 很好的概述。由於我們的應用裡同時有視訊串流與相機串流,必須對兩者都進行推論。幸運的是,可以預先進行處理教練的視訊。我們可以先離線把骨骼的位置寫入檔案中,然後即時讀取、計算分數並開始繪圖,從而提供明顯的效能提升。

結論

本文分享了使用深度學習進行體姿估計時面臨的挑戰與限制,從 BlazePose 模型看到一些不錯的成果,讓我們更加瞭解如何透過 Android 智慧電視打造健身應用。如同時下其他的高階行動裝置,數位電視也可以提供全新的互動體驗,並將這些體驗帶進您客廳的螢幕上。增加深度感測器會進一步提升姿勢估計的準確度與強固性,並考量 3D 重組與情境理解,以獲得更身歷其境的沉浸體驗。

欲了解更多 Arm AI Platform 針對開發者提供的實用協助與設計指引,請造訪相關網頁,以助力您實現機器學習與深度學習應用。

責任編輯:Mia
核稿編輯:MindyLi

延伸閱讀:



為什麼毛小孩這麼愛吃法米納?獨特四道關鍵生產程序打造新鮮美味

同樣是寵物食品,為什麼有的能讓寶貝百吃不膩,有的卻讓毛孩無比嫌棄?毛孩和人一樣,都喜歡新鮮美味的食物,但要做出新鮮美味又營養健康的飼料,過程可沒這麼簡單,讓我們一起來了解吧!
評論
Photo Credit:TNL Brand Studio
評論

同樣是寵物食品,為什麼有的能讓寶貝百吃不膩,有的卻讓毛孩無比嫌棄?除了食材選用的品質、產地,配方食譜的完整性,更關鍵的是-製作過程!毛孩和人一樣,都喜歡新鮮美味的食物,但要做出新鮮美味又營養健康的飼料,過程可沒這麼簡單,讓我們一起來了解吧!

你知道嗎?飼料的生產過程中,每道加工程序都會影響飼料的品質與適口性,義大利法米納為了提供全球毛孩家長最頂尖的寵物食品,禮聘多位獸醫師和動物營養師組成專業團隊,以超過 50 年豐富的生產經驗,針對原料、配方、技術等各環節進行深入研究,用最高標準的流程確保法米納生產的每一顆飼料都兼具新鮮美味與營養均衡。

首先,法米納從原料要求就遠高過其他品牌:嚴選新鮮優質的原肉塊,超過八種主要肉源,例如義大利放山雞肉、義大利放牧野豬肉、紐西蘭放牧草飼羊肉、北海深海魚肉(鯡魚、鱈魚等)、歐洲鹿肉、歐洲鵪鶉肉、歐洲鴨肉,不使用成本較低、營養價值較差的肉粉、次級原料(例如肉類副產品)、豆類或豆類蛋白來拉高蛋白質比例;亦選用產地直送的現採蔬果,例如石榴、蘋果、甜橙、藍莓、菠菜、胡蘿蔔、豌豆等,增加天然維生素、礦物質的來源;不使用基因改造原料,更不加入人工防腐劑;飼料中添加富含 Omega-3 的天然優質魚油,讓毛孩的毛髮更加明亮有光澤。

在配方上更是有動物性蛋白質高達 98% 的頂級無穀系列、選用低升糖指數的斯佩爾特小麥的低穀系列、Omega-3 脂肪酸含量最高的海洋系列、高纖抗氧化的南瓜無穀系列、加強腸胃、皮毛、體態、泌尿道保健的藜麥無穀機能系列,以及世界第一支以新鮮原肉塊製作、科學實證功效的獸醫處方系列等六大系列,供全球各地犬貓家長選擇。

除了選用優良的食材,調製專業的配方,更需要優秀的製程。法米納寵物食品出類拔萃的關鍵就是獨特的四道生產程序:「雙螺桿擠出技術」、「真空鍍膜技術」、「充氮調氣技術」、「即時生產」,有效大幅提升飼料的營養價值,也讓飼料變得更加美味可口。

Photo Credit:TNL Brand Studio

製作飼料一開始,食材原料會被送入擠壓機內,在高溫高壓環境下混合並加熱煮熟,接著從擠壓機模孔中擠出成型。擠壓的製程中,法米納使用「雙螺桿擠出技術」,讓原料中的澱粉糊化更加均勻,做出來的飼料顆粒更加緊實、細緻,更容易被消化,相較於一般使用單螺桿擠出機,法米納烘烤出來的飼料消化率提升 25%,吃到肚子裡的營養更有效被吸收。

Photo Credit:TNL Brand Studio

一般飼料在製作時,僅將油脂、維生素,與其他原料直接混合進入擠出機內加熱煮熟,營養容易受到破壞;但法米納的「真空鍍膜技術」則是把飼料內的空氣抽取出來,呈現負壓狀態,再將油脂與維生素均勻包裹在飼料表面,當壓力回復至正常大氣壓力時,氣壓會讓油脂與維生素均勻地滲進飼料裡面,不僅提升飼料的營養價值,更增加飼料的適口性。

Photo Credit:TNL Brand Studio

接著,透過「充氮調氣技術」,灌入氮氣取代包裝裡原有的空氣,避免飼料受到氧化變質;最後,為了提供毛小孩最新鮮優質的天然糧,法米納推出「即時生產政策」,也就是工廠接單之後才開始進行生產,因此法米納寵物食品的新鮮程度更高於其他市售飼料。

Photo Credit:TNL Brand Studio

為了確實且嚴格控管品質,法米納從食材的來源地、生產程序,到自主增加的微生物與化學分析項目,皆提供完整的追蹤流程,且每一批產品都會留一份樣品儲存至少兩年,如此高規格生產要求,法米納獲得 ISO9001(品質管理系統)、ISO45001(職業衛生安全管理系統)、ISO22000(食品安全管理系統)、HACCP(食品安全管制系統)等多項國際認證。

此外,法米納更與義大利拿坡里費德里克二世大學合作無殘忍動物實驗(Cruelty  Free Research)的發展研究,所有配方生產與測試過程中使用的實驗動物,皆是收集臨床上原本就生病的動物,並經過獸醫與飼主同意及監督進行實驗,有別於較不人道的一般動物實驗,是將健康動物強制誘發疾病後再進行實驗測試。

Photo Credit:TNL Brand Studio

法米納無論在天然原料、營養配方、專業製程、嚴格品管,或是創新研發、科學驗證,每一道環節都極其用心,因此受到國際各大知名寵物食品評論網站的高度評價與獲獎肯定,尤其獲得 Dog Food Advisior(DFA)五星最高分評鑑,The Whole Dog Journal(WDJ)每年最佳推薦品牌也都榜上有名。

魔鬼藏在細節裡,看似簡單的寵物食品,品質優劣可是大有學問!法米納的嚴格要求與用心追求,讓旗下的產品擁有最優秀的品質、最佳的適口性與風味、最好的營養價值,讓毛孩爸媽不用煩惱寵物食品五花八門的選擇就能輕鬆照顧好毛孩飲食與健康。還等什麼?現在開始就選擇法米納天然糧!

法米納官方網站

Photo Credit:TNL Brand Studio