電腦能「看到」你在想什麼畫面?京都大學用神經網路和腦部訊號重建影像

評論
Photo credit: Kamitani Lab/Tokyo University
Photo credit: Kamitani Lab/Tokyo University
評論

原文刊登於 36Kr,作者 梁風  ,INSIDE 獲授權轉載。

日本科學家發明了一種令人毛骨悚然的機器,它能以驚人的準確性窺視你的大腦。這個 AI 能研究大腦中的電子信號,以準確地計算出某人正在看,甚至思考的圖像。

這項技術為未來的一些場景打開了一扇門,比如在「黑鏡」中扮演的角色,任何人都可以記錄和重播他們的記憶。

每日郵報 報道,這項發現是由京都大學的 Kamitani 實驗室的研究人員製作的,由 Yukiyasu Kamitani 教授領導。

專家們利用神經網路,根據磁共振成像(fMRI)掃描的資訊來製作圖像。核磁共振的圖像可以檢測血液流動的變化來分析電活動。利用這些數據,在 3 名志願者盯著這些照片之後,這台機器能夠重建貓頭鷹、飛機、彩色玻璃窗和紅色郵筒。

它還製作了一些物體的圖片,包括正方形、十字架、金魚、天鵝、美洲豹和保齡球,這些也都是參與者所想像的。

根據該研究小組的說法,儘管人與人之間各有不同,但這項突破開啓了「我們內在世界的獨特窗口」。理論上,這項技術可以用來製作白日夢、記憶和其他精神畫面的影像。

此外,它還可以幫助永久性植物人病患與他們的所愛交流。

Photo credit: Kamitani Lab/Tokyo University

在置於線上列印文件儲存庫 BioRxiv 的論文中,作者寫到:「在這裡,我們展示了一種新穎的圖像重建方法,其中圖像的畫素值經過優化,使其深層神經網路的特徵與從多層人類大腦活動中解碼的相似。我們發現,生成的圖像與刺激圖像(包括自然圖像和人工形狀)和志願者的主觀視覺內容相似。」

他還寫到:「雖然我們的模型只接受了自然圖像的訓練,但我們的方法成功地將重建過程歸納為人工形狀,這表示我們的模型確實是在大腦活動中『重建』或『生成』圖像,而不是簡單地與原型相配對。」

這個突破依賴於神經網路,它試圖模擬大腦運作的方式來學習。

京都研究小組的這個深度神經網路接受了 50 張自然圖像的訓練,並在志願者們看完這些圖像後進行了的功能磁共振成像。

這些 AI 重新建立志願者所看到的圖像。

然後,他們使用了第二種 AI,稱為「深度生成網路」,來檢查它們是否像真實的圖像,並對它們進行優化,以使它們更容易識別。 

Photo credit: Kamitani Lab/Tokyo University

Kamitani 教授在「解碼」後,能夠精準識別志願者所看到或想象的物體。研究人員認為,一組層次化處理的特性可以用來確定一個對象類別,比如「海龜」或「豹」。研究人員在自然通訊雜誌發表的一篇論文中解釋說,這樣的分類名稱使電腦能夠識別圖像中的物體。

研究對象從在線圖像數據庫 ImageNet 上顯示了自然圖像,該圖像包含 150 個類別。然後,經過訓練的解碼器被用來預測物體的視覺特徵——即使是那些在腦部掃描訓練中沒有用到的物體。

當顯示同樣的圖像時,研究人員發現,人類主體的大腦活動模式,跟神經網路中模擬神經元的模式十分相似。

現在,關於 AI 預測人類所思所想的進展越來越多了,雖然都還很初級,基本上還是解碼一些人類視覺看到的一些簡單圖像,但是我們還是可以清晰地看到,AI 在預測人腦活動上,正一步步地向前進。


精選熱門好工作

Campaign Associate 線上活動策劃專員

樂購蝦皮股份有限公司
臺北市.台灣

獎勵 NT$20,000

(Backend)Senior Software Engineer

ShopBack 回饋網股份有限公司
臺北市.台灣

獎勵 NT$20,000

PopDaily 業務企劃-公標案專責–【業務部】

數果網路股份有限公司
臺北市.台灣

獎勵 NT$20,000

評論