不坐著下圍棋了,DeepMind 訓練機器人可靈活動起來!

當 DeepMind 把運動技能教授給人工系統時,常常會遇到這個問題,就是很難準確描述一個複雜的行為。DeepMind 目前的工作就是研究如何在簡單高水平的目標下,使身體能夠從頭開始與環境相互作用來完成複雜的行為
評論
評論

本文來自合作媒體 雷鋒網 ,INSIDE 經授權後轉載。

無論是在樹木間亂竄的猴子,還是躲避對手和進擊目標的足球運動員,他們靈活敏捷的速度,都讓人十分驚嘆。掌握這種複雜的電機控制是物理智慧研究的方向,是 AI 研究的重要組成部分。

真正的智慧電機需要在一系列複雜的環境中,學習如何調節控制身體使其更加靈活來完成任務。目前,很多領域開始研究如何控制模擬人,包括電腦動畫和生物力學領域。智慧電機的另一種發展趨勢是,使用手工製作的目標或運動捕捉的數據來產生特定的行為。然而,這可能需要相當多技術工作的努力,也可能會導致智慧電機面對新任務時,難以重新調整行為。

在以下 3 篇新的論文中,闡述了 DeepMind 已經找到了 AI 學習靈活行為的方式,這種方式不僅能夠重複使用,還能解決任務。

一、 豐富的環境中表現的運動行為

如果玩 Atari 或 Go 時,目標很容易描述,就是贏。但是你如何描述一個後空翻表演的過程?或者僅僅只是單純描述一下「跳」這個動作?當 DeepMind 把運動技能教授給人工系統時,常常會遇到這個問題,就是很難準確描述一個複雜的行為。DeepMind 目前的工作就是研究如何在簡單高水平的目標下,使身體能夠從頭開始與環境相互作用來完成複雜的行為,例如向前移動而不會下降。更具體地說,他們訓練了各種模擬人,讓他們在不同的地形上進行跳躍,轉彎或者蹲伏。結果顯示,模擬人完成這些複雜的技能前,並沒有收到具體的指示。DeepMind 需要找到一種方法,可以訓練系統中明顯不同的模擬人。下面的動圖顯示了能夠產生高品質的運動的技術。

▲模擬人類反覆跳躍翻牆
▲模擬在木板間精確的跳躍

二、 透過對抗模仿學習人體行為

上述的模擬人解決突發行為的能力非常強大,但是由於這些動作必須從頭開始,所以模擬人的動作看起來和人類行為不太一樣。在 DeepMind 的第 2 篇論文中,闡述瞭如何透過運動捕捉數據來構建一個模仿人類行為的政策網路,需要預先學習一些技能,例如步行、起步、跑步和轉彎等等。目前,模擬人已經產生了類似人類的行為,可以透過重新調整這些行為來完成其他任務,比如爬樓梯,透過導航繞過圍牆等等。

▲模擬人類行走
▲模擬人類跌倒爬起

下面的 GIF 可以查看模擬人的行為。

三、 模擬人模仿人類各種行為

第 3 篇論文提出了構建一種最先進的生成模型的神經網路結構,它能夠學習不同行為之間的關係,並模仿它所顯示的具體動作。經過訓練之後, DeepMind 的系統可以編碼觀察到的動作,還可以創建新的小動作。儘管模擬人並沒有看到動作之間的過渡,依舊可以在不同類型的動作之間切換,例如在行走風格之間的轉換。

▲在 AI 的幫助下能做出走路、跳躍等一系列動作,甚至能模仿行動不便的老人走路時的樣子

實現模擬人行動靈活且適應控制是 AI 研究的關鍵要素。DeepMind 的工作目的在開發一套系統,能夠透過學習和調整技能來解決電機控制任務,同時減少手動工程。DeepMind 未來的研究工作主要是擴展這些方法,以便在更複雜的情況下完成更多的任務。

 

延伸閱讀:

AI 突破關係推理,DeepMind 人工神經網路擊 敗人類!

圍棋再無 Master,DeepMind 創辦人宣布 AlphaGo 退役

不僅圍棋稱霸還會幫人省電,Google DeepMind 著手英國電力供 需難題