用手機即時翻譯手語!Google AI 實驗室推即時手部追蹤技術

Google AI 實驗室推出即時手動追蹤技術,期望能透過手機或行動裝置,就把手語翻譯成口語。
評論
▲Photo Credit: 取自Google AI實驗室官網
評論

全世界有數百萬人使用手語進行交談,手語早已是重要語言之一;但目前為止,能夠捕捉手語複雜手勢並即時翻譯成口語的相關技術,進展仍然有限,而 Google AI 實驗室則推出即時手部追蹤新技術,可望協助手語和口語族群彼此溝通。

誰說一定要大數據?Google 選擇先讓機器辨識「手掌」

根據 TechCrunch 報導,過去如果要讓手語即時翻譯成口語,通常得在桌機環境裡進行。因為使用手語時,手勢可能會遮住自己的手指、手掌,或是手會抖動;再加上手語的手部動作通常很細微,有時候打手語的速度也很快,就算同時採用多個攝影鏡頭,這些辨識對機器視覺來說,都屬於高強度挑戰任務,較難在手機或行動裝置環境中進行追蹤、辨識、分析並即時翻譯。

為了解決目前困境,在強調大數據的現在,Google AI 實驗室則反其道而行,在一定程度上減少數據量,降低機器視覺辨識的周轉時間。他們先放棄讓系統檢測整體手部位置、大小,只讓系統去捕捉「手掌」,因為手掌大小通常固定,且是方形,可以避免系統得處理矩形或其他特殊圖像所帶來的辨識困擾。

當識別手掌後,其延伸出去的手指就可以被個別分析,依據所設定的 21 個座標,分析出指關節、指尖與手掌的距離,甚至根據手掌的大小、角度,推測出目前手勢的形狀。

為了達到這樣的手指識別,Google AI 實驗室得事先用人工方式,一個個把不同手勢、不同照明情況下的 3 萬張手部圖像都加上這 21 個座標點,以利後續的機器學習。畢竟,所有人工智慧的起點,都來自於人類自己先下苦工、打地基。

▲Photo Credit: 取自Google AI實驗室官網

之後,透過機器學習,手語動作就可以跟已知的手勢相比對,從字母和數字的手語符號對應到所指語言。這種方式可以讓手語辨識直接在一般手機上運作,不需要在桌機環境或雲端環境進行。

目前 Google 還沒把這些研究成果用在任何產品上,因此也開放原始碼,讓有需要的人都可以自行取用。

未來挑戰:手語包含雙手、臉部表情,各地手語系統也大不同

平心而論,Google AI 實驗室的手語辨識技術已經往前邁了一大步,但手語是成熟、複雜且含有豐富訊息的系統,手語也不只是單一隻手的手勢,同時還得運用雙手、臉部表情以及其他線索來進行溝通,因此未來可能還是需要搭配強大硬體,才能真正達到「手語即時翻譯」。

而按照目前 Google AI 實驗室的手語辨識技術進展,可能暫時比較適用於辨識基本手型,或是用來辨識「手語拼寫法」(Fingerspelling)。因為手語拼寫法是用手指打出從 A 到 Z 的 26 個字母,再對應到英文拼音來理解意思。

但就像口語有不同系統,世界上也有不同手語系統,並不是每種手語系統都類似手語拼寫法。以美國聾人族群大宗使用的美國手語(American Sign Language;ASL)來說,美國手語的基礎仍然是擁有獨特系統、由聾人溝通方式發展而成的「自然手語」,只有在需要打出新興詞彙(例如:iPhone)時,才會借用手語拼音法打出i-p-h-o-n-e,因此如果要完整辨識美國手語,需要的手勢圖像更多、挑戰更難。

此外,台灣手語也像中文詞彙一樣,台灣的「自然手語」象形意象較強,如果要採用機器視覺辨識,可能難度更高,仍需要一段漫漫長路。

▲美國手語。Photo Credit: Shutterstock/ 達志影像

核稿編輯:Anny

延伸閱讀:



【 MarTech Asia 】數位轉型突圍!萬里雲推出機器人寫文案服務,以 AI 加速行銷流程

CloudMile 萬里雲旗下 Martech 產品── ADsvantage (廣告智庫)全新 2.0 功能上線,採用非營利人工智慧組織 —— OpenAI 強大的文章產成器 「 GPT 系列」為基礎,推出全新 AI 智慧寫手功能。
評論
Photo Credit:CloudMile
評論

 CloudMile  萬里雲旗下 Martech 產品── ADsvantage(廣告智庫)全新 2.0 功能上線,採用非營利人工智慧組織 —— OpenAI  強大的文章產成器「 GPT 系列」為基礎,推出全新 AI 智慧寫手功能。隨著行銷碎片化時代來臨,消費者的用戶輪廓越來越難拼湊,從獲取資料、數據分析,到廣告文案創作的最後一哩路,行銷人員必須借助更多工具幫忙,奪回行銷效益的掌握度。 ADsvantage 提供台灣中小企業行銷人員、廣告主及電商業者自助管理的廣告平台,大幅縮短廣告行銷人員作業時間。

 ADsvantage 推出新功能,受邀 2021 MarTech Asia 分享 AI 化數據行銷

日前全台最大的行銷科技盛會 2021 MarTech Asia ,阿物科技創辦人暨執行長林思吾號召 26 位業界領袖同台 ,現場及線上共有超過 1,800 位全球及台灣相關業者齊聚一堂,包括行銷科技之父 Scott Brinker、前 Verizon Media 國際事業董事總經理鄒開蓮、全聯實業副董事長謝健南等人,分享行銷科技的重要趨勢及後疫情時代的新生態。 CloudMile 萬里雲營運長高斌恒也受邀分享,各個科技巨頭都紛紛有許多針對隱私權的規範和措施,消費者的線上線下界線越來越模糊。 當今行銷人所面對的難題不只是 SEO、投放優化而已,「數據」才是致勝關鍵,透過將許多流程自動化,省下時間與人力成本的情況下,達到更高的行銷目標,其中包括 Cookieless 時代來臨、深化 OMO 無縫體驗、打造顧客數據平台( Customer Data Platform , CDP )等議題都受到業界高度關注。

豐富跨國實戰經驗的 CloudMile 機器學習團隊,運用超過 500 萬的文案數據庫、橫跨 20 種產業以上的廣告量,結合廣告代理商 20 年以上行銷經驗,創造 ADsvantage 「 AI 智慧寫手」 新功能。 CloudMile 看見客戶對於數位轉型及運用 MarTech 行銷科技推廣商品的急迫需求,希望可運用 AI 技術之力,縮短廣告前期企劃、發想關鍵字詞、寫文案和廣告投放設定,同時還需跨組溝通,尋找資源協助的時程, ADsvantage 廣告智庫即是專為滿足客戶後疫行銷需求的一站式廣告營運平台解決方案。

人工智慧寫手結合電商平台, 加速行銷流程的最佳 AI 助理

 ADsvantage 全新 2.0 功能上線,採用 GPT 模型,為矽谷時下最夯的自然語言處理模型,推出全新 AI 智慧寫手功能,透過平台能協助客戶透過數據匯流、 AI 分析達到預測的成效,快速蒐集最熱門的關鍵字、文案內容,加速創意的過程並提升廣告效率。

此全新產品適合應用在電商等大型網購平台上,透過機器學習與 AI 科技應用,讓中間產製時間被大幅被縮短,並提升操作數位行銷的「效率」與「精準度」,像是電商平台即可透過採用 ADsvantage 的服務,有效提升自己在數位行銷上的競爭力。

Photo Credit:CloudMile
ADsvantage 全新 2.0 功能上線,推出 AI 華語文案生成工具「AI 智慧寫手」。/Photo Credit:CloudMile

 ADsvantage 產品介紹

運用 AI 科技力助企業數位轉型的 CloudMile 萬里雲,發表關鍵字數位廣告輿情系統 ADsvantage(廣告智庫),提供企業廣告主及電商平台,透過超過百萬的文案創意庫( Ads  idea ) 、 AI 智慧監控工具及 AI 智慧寫手,平均只要 3 秒即可生成一個廣告文案。 CloudMile 透過 Google 雲端、機器學習與 AI 大數據分析技術,致力協助企業落實數位轉型。疫情期間抓住需求開發的 ADsvantage ( 廣告智庫) 服務,透過服務台灣、新加坡、及香港逾 400 家客戶的專業經驗,將傳統的商業廣告運營模式數據化,提供企業廣告主一站式 Google Ads 廣告文案創作 AI 化平台。

本文章內容由「阿物科技」提供,經關鍵評論網媒體集團廣編企劃編審。