MIT 和 Google 的最新研究:讓 AI 獲得多元感官統合能力!

AI 獲得人類資訊統合能力的那天真的不遠了嗎?
評論
Photo Credit: Seanbatty
Photo Credit: Seanbatty
評論

本文來自合作媒體 雷鋒網 ,INSIDE 授權轉載

根據 MIT 和 Google 研究人員最近發表的論文,他們正在訓練 AI 將圖像、聲音和文字等多方面資訊統合起來。

在語音識別、圖像識別以及下圍棋等單項能力方面,AI 已經足夠出色,甚至超越了人類。但是如果 AI 一次只能使用一種感知能力,無法將看到和聽到的內容進行統合的話,就無法徹底理解周圍的世界。這正是 MIT 和 Google 的研究人員進行這項研究原因。

研究人員並沒有教給算法任何新東西,只是建立了一種方式讓算法能夠將多種感官獲得的知識進行連接和協調。這一點非常重要。

論文的聯合作者之一,MIT 的 AI 研究員 Yusuf Aytar 以無人車為例:比如無人車的聲音感應器先聽到了救護車的聲音,然後雷達才看到救護車的樣子。有關救護車的鳴叫聲、樣子以及職能的知識,可以讓無人車放慢速度,切換車道,為救護車讓路。

他說:「你是先看到汽車還是先聽見引擎聲並沒有關係,你馬上能識別出這是同一個概念。因為你大腦中的資訊已經自然地把它們協調統一起來了。」

為了訓練這套系統,MIT 的研究小組首先向神經網路展示了與聲音相關的影片。在神經網路發現影片中的對象並且識別出特別的聲音之後,AI 就會嘗試預測哪一個對象跟聲音關聯。比方說,招手會不會發出聲音呢?

接下來,研究人員又以相同的形式為算法提供了帶標題的圖片,讓它將文字和圖片進行配對。網路首先需要單獨識別出圖中所有的對象以及相關問題,然後才能進行配對。

由於 AI 獨立識別聲音、圖像、文字的能力已經十分出色,這種網路乍看之下並沒有什麼了不起。但研究人員表示,當他們對 AI 進行聲音/圖像、圖像/文字的配對訓練時,系統就能在未經訓練指導哪個單詞與不同聲音配對的情況下將聲音與文字關聯起來。這表明神經網路對於所看到的、聽到的或者讀到的東西已經形成了更加客觀的看法,而且這種看法的形成,並不完全只依賴於它用來瞭解單一訊息的媒介。

統籌對象的觀感、聽覺以及文字後,算法就能自動將聽到的東西轉化為視覺圖像,從而強化對於世界的理解。

據瞭解,Google 也進行了類似的研究,不過 Google 更加強調一點:新算法還能將文字轉化成其他的媒體形式,雖然從準確率上來說,它暫時還比不上單一用途的演算法。