OpenAI 開源新夥伴:《俠盜獵車手 V》登場!

GTA V的島嶼設置大小幾乎是洛杉磯市的1/5,並且給開發者提供了廣泛的場景進行系統測試。另外,系統提供257種不同的汽車、7 種類型的自動駕駛車和 14 種天氣,在這個模擬器使用這些數據進行排列組合,可以實現大量不同的虛擬場景。
評論
評論

OpenAI 的開源人工智慧測試平台有了一位新成員——《俠盜獵車手 5》(GTA V),它由 Craig Quite 的 DeepDrive 計畫所維護。你只需要購買正版遊戲,然後 Universe 代理就可以在一個高擬真的世界開始駕駛汽車了。

那麼開發者需要注意哪些地方呢?一起來看看吧!

開始遊戲

首先,打開 GTA V 伺服器。然後你需要將 Universe 的 Python 庫裝好(如果已經事先安裝了,就不需要升級了)。現在,你可以通過執行下面的程式掛代理。除了鍵盤和滑鼠,代理還可以使用虛擬搖桿。

import gym
import universe # register Universe environments into Gym
from universe.spaces import joystick_event

env = gym.make(‘gtav.SaneDriving-v0')
env.configure(remotes='vnc://$host:$port') # point to the GTA V Universe server
observation_n = env.reset()

while True:
steer = joystick_event.JoystickAxisXEvent(-1) # turn right
throttle = joystick_event.JoystickAxisZEvent(-1) # go in reverse
# Alternatively, use WASD to steer: (‘KeyEvent', ‘w', True)
action_n = [[steer, throttle] for _ in observation_n]
observation_n, reward_n, done_n, info = env.step(action_n)
env.render()

587784bfb2d78

DeepDrive

DeepDrive 是一個平台,用於建立開放式自動駕駛汽車的 AI。DeepDrive 通過使用建模框架和內存檢測技術來重新調整 GTA V,使其成為一個自動駕駛汽車的模擬器;除此之外,他可以提供預訓練的自動駕駛汽車代理和數據庫來訓練。現有的 DeepDrive 環境和代理現在編譯在 Universe 最上層。

DeepDrive 的起源比 Universe 早,因此,通過它可以有效看出在 Universe 出現前和出現後,現代遊戲上特別鮮明的對比。最早的 DeepDrive 必須使用 Windows 操作系統的電腦並且需要一整天的時間打開遊戲和遊戲代理。而現在,打開只需 20 分鐘,操作系統也可支持 Linux 或者 OS X,還與舊版本的 Universe 代理兼容(不過,如果要實現最好的效果,還是需要使用虛擬搖桿,而不是傳統的鍵盤和滑鼠)。

本次開源發佈的內容包括:

1. GTA V 環境的源代碼和 AMI;

2. 一個預訓練的驅動代理,具有 Caffe 和 TensorFlow 實現案例。

集合以上兩者能夠支持選擇鏡頭機號和視場偏移,還包括通過強化學習訓練實現獎賞功能,能夠讓代理學會避免碰撞,計算目的地距離和停留在路上。

環境改變

在 Universe 出現之前,DeepDrive 使用 DirectX 按鍵來捕獲螢幕並且需要使用 C++與 Caffe 對接來寫代理。現在的遊戲則運行在 windows 平台下的網路虛擬機上,並和 Websockets 和 VNC 進行通訊。因此,代理可在 Linux 或者 Mac 的平台上跑,並且可以實現在任何 ML 框架的寫動作。

Universe 通過 VNC 傳輸像素,滑鼠和鍵盤數據,通過 Websocket 傳輸其他數據。為了實現搖桿的方向和節流閥的控制,我們將搖桿的動作通過 Websockets 傳給環境數據。

58778542314d2

就如同 Universe 發佈說明中提到的,客戶端在公有雲端上最多使用 20fps。GTA V 為研究人員提供了訪問一個豐富多彩多樣性的環境在測試和開發 AI 的環境。GTA V 的島嶼設置大小幾乎是洛杉磯市的 1/5,並且給開發者提供了廣泛的場景進行系統測試。另外,系統提供 257 種不同的汽車、7 種類型的自動駕駛車和 14 種天氣,在這個模擬器使用這些數據進行排列組合,可以實現大量不同的虛擬場景。

587dc54d27f7a

GTA V 中 49 平方英尺的島嶼 San Andreas 為研究人員提供了培訓 AI 穿過熱奈的大都市地區,蜿蜒的山路,平坦的沙漠,和高速公路的能力。

在 GTA V+Universe 環境下也可以收集大量的標記數據:你可以用下面的 GTA V 引擎收錄 2D 或 3D 模擬的塊狀資訊、汽車、行人、自動駕駛車、動物、路面、交通標誌分割標籤,或任何一個 GTA V 的其他 7000 +對象。環境通過真實世界的車輛,MODS 的道路建設,甚至也可以延伸到整個城市。

預訓練代理

這次開源包含基礎代理,是通過模仿學習 21 小時(約 60 萬圖像)遊戲畫面進行駕駛訓練的 AI(內置的遊戲 AI 是很好的開始目標:它的性能優於一個典型的人,因為它可以訪問內部遊戲狀態,雖然 AI 仍然會犯錯誤,如在高速公路上進行 U 轉彎)。基礎代理在各種不同的天氣條件下駕駛,對交通作出反應並保持其車道。這種預訓練的代理是我們最終目標的起始點!

其他研究人員的研究成果已經展現了通過對 GTA V 中的可視系統進行訓練從而對現實世界中的圖像進行分類的可行性。GTA V 與 Universe 融合則使得通過增強學習技術實現虛擬駕駛變得更加簡單。

GTA V 與 Universe 的集成自動繼承了 Universe 為了可比性和共享性而提供的所有工具和語義,能夠很簡單地對 GTA V 上的代理進行性能基準測試。Universe+GAT V 可以單獨使用,也可以作為使用 Universe 代理訪問的一個環境。