用手機即時翻譯手語!Google AI 實驗室推即時手部追蹤技術

Google AI 實驗室推出即時手動追蹤技術,期望能透過手機或行動裝置,就把手語翻譯成口語。
評論
▲Photo Credit: 取自Google AI實驗室官網
評論

全世界有數百萬人使用手語進行交談,手語早已是重要語言之一;但目前為止,能夠捕捉手語複雜手勢並即時翻譯成口語的相關技術,進展仍然有限,而 Google AI 實驗室則推出即時手部追蹤新技術,可望協助手語和口語族群彼此溝通。

誰說一定要大數據?Google 選擇先讓機器辨識「手掌」

根據 TechCrunch 報導,過去如果要讓手語即時翻譯成口語,通常得在桌機環境裡進行。因為使用手語時,手勢可能會遮住自己的手指、手掌,或是手會抖動;再加上手語的手部動作通常很細微,有時候打手語的速度也很快,就算同時採用多個攝影鏡頭,這些辨識對機器視覺來說,都屬於高強度挑戰任務,較難在手機或行動裝置環境中進行追蹤、辨識、分析並即時翻譯。

為了解決目前困境,在強調大數據的現在,Google AI 實驗室則反其道而行,在一定程度上減少數據量,降低機器視覺辨識的周轉時間。他們先放棄讓系統檢測整體手部位置、大小,只讓系統去捕捉「手掌」,因為手掌大小通常固定,且是方形,可以避免系統得處理矩形或其他特殊圖像所帶來的辨識困擾。

當識別手掌後,其延伸出去的手指就可以被個別分析,依據所設定的 21 個座標,分析出指關節、指尖與手掌的距離,甚至根據手掌的大小、角度,推測出目前手勢的形狀。

為了達到這樣的手指識別,Google AI 實驗室得事先用人工方式,一個個把不同手勢、不同照明情況下的 3 萬張手部圖像都加上這 21 個座標點,以利後續的機器學習。畢竟,所有人工智慧的起點,都來自於人類自己先下苦工、打地基。

▲Photo Credit: 取自Google AI實驗室官網

之後,透過機器學習,手語動作就可以跟已知的手勢相比對,從字母和數字的手語符號對應到所指語言。這種方式可以讓手語辨識直接在一般手機上運作,不需要在桌機環境或雲端環境進行。

目前 Google 還沒把這些研究成果用在任何產品上,因此也開放原始碼,讓有需要的人都可以自行取用。

未來挑戰:手語包含雙手、臉部表情,各地手語系統也大不同

平心而論,Google AI 實驗室的手語辨識技術已經往前邁了一大步,但手語是成熟、複雜且含有豐富訊息的系統,手語也不只是單一隻手的手勢,同時還得運用雙手、臉部表情以及其他線索來進行溝通,因此未來可能還是需要搭配強大硬體,才能真正達到「手語即時翻譯」。

而按照目前 Google AI 實驗室的手語辨識技術進展,可能暫時比較適用於辨識基本手型,或是用來辨識「手語拼寫法」(Fingerspelling)。因為手語拼寫法是用手指打出從 A 到 Z 的 26 個字母,再對應到英文拼音來理解意思。

但就像口語有不同系統,世界上也有不同手語系統,並不是每種手語系統都類似手語拼寫法。以美國聾人族群大宗使用的美國手語(American Sign Language;ASL)來說,美國手語的基礎仍然是擁有獨特系統、由聾人溝通方式發展而成的「自然手語」,只有在需要打出新興詞彙(例如:iPhone)時,才會借用手語拼音法打出i-p-h-o-n-e,因此如果要完整辨識美國手語,需要的手勢圖像更多、挑戰更難。

此外,台灣手語也像中文詞彙一樣,台灣的「自然手語」象形意象較強,如果要採用機器視覺辨識,可能難度更高,仍需要一段漫漫長路。

▲美國手語。Photo Credit: Shutterstock/ 達志影像

核稿編輯:Anny

延伸閱讀:



從物流到巡檢!無人機小兵立大功,助產業翻轉應用場景、加速智慧城鄉腳步

隨著科技進步,在推動智慧城鄉的道路上,已發展出應用無人機來縮短城鄉差距、加速產業應用佈局,同時提升民眾的生活品質。
評論
photo credit:經濟部工業局
評論

談起無人機會令你想到什麼?對多數消費者而言,第一時間聯想到的或許是結合影音、娛樂的應用場景,藉由飛行優勢捕捉各種畫面、創造更有趣的觀賞體驗,但其實無人機早已升級,在許多我們意想不到的場域裡發揮它的技術,改善我們當前的生活品質。

根據 DRONEII.Com 的報告指出,全球無人機市場將從 2018 年 140 億美元、一舉躍升到 2024 年 430 億美元,其中能發揮無人機應用的場景除了熟悉的娛樂、拍攝外,勘/救災、預警系統、資料蒐集與分析與環境監測等,亦是無人機可著力之處。

看準無人機所具備的這些優勢,讓經濟部工業局在「普及智慧城鄉生活應用計畫」中,善用無人機的價值,讓它得以跳脫娛樂拍攝場景,以物流、巡檢等角色走入偏鄉,為在地民眾以科技力注入創新活水。

看無人機如何從物流到巡檢,翻轉智慧城鄉

「智慧城鄉的目的就是要透過科技力,讓偏鄉地區的民眾也能同步享受等同於都會區的資源與生活品質。」作為國內長期投入研發無人機的中光電智能機器人王仲平協理觀察,這也是為什麼中光電加入「普及智慧城鄉生活應用計畫」後,選擇以物流、巡檢等場景作為起手式,希望藉由技術的輔助讓偏鄉地區的生活體驗可以再升級。

攤開 Google 地圖,從新竹火車站前往尖石鄉的路程接近 3 小時,途中更是九彎十八拐,也常因天災造成道路坍方,切斷輸送物資的主要管道。「但這趟路對無人機而言僅需 10 分鐘」在天氣許可下,無人機能垂直飛行加速物資運送,讓偏鄉在資源需求上邁進了一大步。當然,王仲平也解釋,這樣的場景是需要串接地方政府、物流業者乃至於零售業者都缺一不可,中光電發揮在無人機的技術與專業,攜手夥伴們才能讓智慧城鄉的發展被實現。

而這項技術也已輸出海外、與日本樂天合作。王仲平透露,目前已在白馬山進行試飛,在高低落差近 1600 公尺、往返距離約 10 公里的地區,以無人機方式將貨物運送至目的地。讓過去需要耗費車程、人力約 7 小時的路途,如今只需要 10 分鐘就能解決,不只能運送物資上山、也同時能將山上的垃圾運下來,藉由無人機創造雙向價值、提升偏鄉的生活體驗。

除了物流場域,巡檢應用也同樣能發揮無人機效益。王仲平表示,電塔維護關係著偏鄉居民的生活及維修人員的生命財產安全,過去動輒爬上高處修繕或需要跨域的奔波,不僅耗時耗力、也可能有人為無法判斷的疏漏發生。如今在無人機的輔助下,不僅大範圍的檢測不成問題,因不受空間影響、更能 360 度的徹底檢查,即便在環境惡劣的山區也難不倒它。

photo credit:經濟部工業局

用「眼睛」跟「大腦」,讓無人機更智慧地徜徉在場域中

無人機之所以能實現如此多應用場景、強化偏鄉地區生活品質與智慧水準,全仰賴技術上的突破,「你就想像現在的無人機其實是台會飛行的掃地機器人,」王仲平生動地解釋。傳統無人機因缺乏人工智慧的導入,讓任務執行依舊需要耗費大量人力監控,也可能因人為操作而發生意外,而這也是為什麼中光電在研發無人機的第一天起,就希望能賦予智慧設計,讓無人機能具有思考與判斷能力。

首先,要能被稱作為智能機器人就需要配置影像辨識系統,王仲平表示這讓無人機如同人眼一般,能捕捉外界影像,讓它在執行任務時能採集需要的資訊,同時透過 SLAM 避障技術,協助無人機判別外界的障礙物,無論在運輸或是巡檢的過程中,更加順利。

此外,智能機器人也需要具備良好的運算平台、就像是大腦一樣,能將捕捉到的影像進行分析、並且建立模型,以利未來在同一條路徑上的飛行時,可以更加熟悉、也讓這台無人機得以減少對人為操作的依賴,加速對偏鄉服務的提供效率。

偏鄉需求大,無人機應用潛力無窮

「其實物流體系的成本有 75% 都是耗費在最後一哩路。」王仲平說,若能借重無人機的技術突破瓶頸,相信在偏鄉的民眾生活品質將會有大幅度邁進,同時為加快腳步,他認為每個物流節點都需要擁抱數位工具、面臨數位轉型,才能攜手翻轉當前的應用場景。

展望未來、王仲平更是滿心期待,他相信還有很多場域正等著無人機發揮技術突破現有框架,「你能想像如果我們有空中計程車的時候嗎?那將會是航空界的革命性發展,也將為偏鄉居民的醫療帶來全新的體驗。」短程的載人運送服務將可能為偏鄉居民、甚至是因登山發生意外的狀況,有了更即時與效率的幫助。藉著這次的計畫,王仲平相信在攜手產官學一同合作打造可落地的應用,就能讓更多人看見無人機的價值、也才能加速偏鄉擁抱智慧科技。

經濟部工業局廣告