讓 Google AI 夢成真的深度學習元老:Geoffrey Hinton

評論
評論

AI_Hinton▲Geoff Hinton,在 Google 工作的 AI 大師 (Photo Credit: Josh Valcarcel/WIRED)

原文來自 WIRED《Meet the Man Google Hired to Make AI a Reality》作者 Daniela Hernandez。台灣康泰納仕集團授權提供 / Inside Mia 編譯。

Geoffrey Hinton 在高中的時候,一位朋友告訴他,腦袋的運作原理就像 全息投影 一樣。

要創造這種 3D 影像,你要記錄無數的光線在物品表面的反射情形,然後將這些散佈在廣大資料庫中的零碎資訊儲存起來。

1960 年在英國讀高中的時候,他就深深被這個想法吸引。腦袋把資訊散佈到龐大的神經網路上,而非把所有訊息存在同一個地方。

這看起來可能微不足道的啟發,對 Hinton 來說卻是重要的關鍵時刻。「我聽到這個想法的時候非常興奮,」他回憶道,「這是我第一次對大腦的運作著迷。」而這也帶來了極大的影響。受到高中那段對話的啟發,Hinton 繼續到劍橋及蘇格蘭愛丁堡大學鑽研類神經網路。到了 80 年代末,他參與了一場野心勃勃的長征,開啟了現在稱之為「深度學習」的技術,用電腦軟體和硬體來模仿大腦。

整整三十年,深度學習都只是學術界的邊緣領域,但現在 Hinton 和紐約大學的 Yann LeCun、蒙特婁大學的 Yoshua Bengio 組成的深度學習團隊,獲得了網路巨擘的注意。Hinton 在加拿大多倫多大學當教授精進理論之餘,也在 Google 兼職,在那裡他利用深度學習改善了語音識別、影像標籤和其他數不清的網路工具。LeCun 也在 Facebook 從事類似的工作。然後人工智慧一夕之間就成了微軟、IBM、百度和許許多多公司追逐的熱潮。

在劍橋讀心理學的時候,Hinton 了解到科學家還沒完全弄懂大腦,頓時大受鼓舞。他們不太能掌握數十億神經細胞的互動,是怎麼產生智慧的。他們可以解釋電子訊號在像電纜一樣連接神經元的神經突觸間傳遞的路徑,但他們無法解釋設些神經如何學習或運算。對 Hinton 來說,這些是相當重大的問題,這問題的解答將能實現 1950 年代以來,人工智慧研究者的終極夢想。

他自己也還沒找到全部的解答,但至少離答案找到更近了一點。他讓類神經網路能模仿大腦的部分面向。「當我們發現讓類神經網路變得更好的方法,而且這個方法和腦袋的運作方式高度相關的時候,我非常興奮。」他熱情地說,充滿青春活力。

在 Hinton 的世界裡,神經網路本質就是在多重層級上運作的軟體。他和他的手下打造出來的類神經網路,軟體內部連結的方式就是參考處理視覺、語言等複雜資訊的大腦皮質神經排列。

這些類神經網路可以搜集資訊並做出反應。它們能建立並理解某物聽起來或看起來的樣子。它們愈來愈懂得分辨一組字放在一起產生的意義,不再需要像以前的機器學習工具一樣,透過人類為物件、概念和單字下標籤。

隨著人工智慧的發展,這些神經網路變得快速、敏捷、又有效率。它們成功擴展到大量成長的機器設備中,並且能完成愈來愈多的工作。而這些只花了大約 30 年。

瘋狂的核心

在 80 年代早期 Hinton 和同事剛開始研究這個想法的時候,電腦還沒有強到能處理神經網路所需的大量資料。他們的成功有限,而人工智慧圈子則放棄他們,轉而研究類似大腦的行為表現,而非模仿大腦運作的原理。

但少數研究者堅持繼續下去,根據 Hinton 和 LeCun,當時處境相當艱難。就算到了 2004 ,據他們開發最初的「倒傳遞」演算法已經 20 年,學界絕大部分還是不感興趣。

不過那年,加拿大高級研究所 (Canadian Institute for Advanced Research,CIFAR) 提供了些許資金,再加上 LeCun 和 Bengio 的支持,Hinton 建立了神經計算與響應式感知(Neural Computation and Adaptive Perception )專案。這是一個邀請制,並且由電腦科學家、生物學家、電子工程學家、神經學家、物理學家及心理學家組成的團體。

Hinton 親自挑選這些研究成員,而他的目標便是打造一個世界級的科學團隊,來創造能模仿有機智慧的電腦系統。至少達到我們認知中的有機智慧:就像大腦一樣在豐富的影像和聲音、文字線索之間切換,理解並回應這個環境。Hinton 相信這個團隊能能刺激 AI 的創新,或甚至改變世界看待這項成就的方式。

而他是對的。

Yoshua Bengio AI_03-new-660x440▲Yoshua Bengio,蒙特婁大學的教授暨 AI 研究員 (Photo Credit: Josh Valcarcel/WIRED)

在 2000 至 2010 間,他們獲得了所需的計算技術,並實現了早期的許多想法。在擁有了共同的固定工作室後,實驗更是突飛猛進。他們製作了更強大的深度學習演算法,能夠處理更多的數據。在過去十年中,他們橫掃全球的 AI 競賽。而一邁入這個十年,網路巨人便開始注意到他們了。

2011 年,一位 NCAP 研究員就和史丹佛教授 Andrew Ng 一起在 Google 創立了一個深度學習專案,之後 Google 便大量利用神經網路技術來辨識語音指令和標籤 Google+ 上面分享的圖片。為了把讓成果更進一步,去年 Geoffrey 及其他多倫多大學的教授也加入了 Google。

同時,百度緊接著在矽谷及中國設立 AI 實驗室。微軟也在自己的語音辨識研究加入了深度學習技術。Facebook 則是延攬了 LeCun,探索新方法來鎖定目標廣告和相片影片中的臉孔及物品辨識。

LeCun AI_05-new-660x440▲Yann LeCun,紐約大學的人工智慧研究者,目前在 Facebook 工作 ( Photo Credit: Josh Valcarcel/WIRED)

NCAP 的另一位成員 Terry Sejnowski 則正在協助歐巴馬的 1 億美元 BRAIN 倡議專案,這個專案的目標是開發各種新工具來描繪神經迴路。早在 1980 年代 Sejnowski 在與 Hinton 共事時,就曾發明了最早的神經網路之一,波爾茲曼機

CIFAR 一年只有 50 萬美元的資金,Hinton 的智庫集團卻回饋了數不清的財富給經濟體系。這在 Google 已經是現在進行式。加拿大和整個世界的投資報酬率相當巨大,CIFAR 研究與合夥副總裁 Denis  Therien 說。

在過程中, Hinton 和 NACP 改變了那個一度屏棄他們的社群。大學生開始捨棄傳統的機器學習專案,轉而研究深度學習,阿姆斯特丹大學的電腦科學家 Max Welling 說。「這些資訊一點一滴從發源地擴散到了遙遠的荷蘭課堂。學生們都有聽過,也了解這項技術,」他說。「這對我來說就是深度學習已經傳遍各處最有力的證明。」

「我們敗於邊緣化的瘋狂,」Hinton 說。「現在我們成了瘋狂的核心。」

Hinton 看未來

去年秋天 NCAP 成員在舊金山市區的 Sir Francis Drake 飯店聚會。他們每年都會聚會一次,在為期兩天的工作坊之後,接著便是 AI 的年度重頭戲神經資訊處理系統進展大會(Neural Information Processing Systems, NIPS)。工作坊將探討廣大結合神經科學和機器學習並受益的技術,比如計算平面設計(computational graphic design)、臉部識別和動作偵測等。

在簡報活動中,Hinton 安靜地站在房間前方的角落。大部分的時候他都安靜地聽,但偶爾會蹦出幾個一針見血的問題,或鼓勵他智庫的成員問問題並提出討論。NACP 成員說,他安靜、謙遜又公正的領導風格創造了開放且高度協作的環境,而這直接加速了全世界的 AI 發展,更堅定了他們為這領域創造改變的決心。

presentatin AI_02-new-660x443▲NACP 12 月在舊金山 Sir Francis Drake 飯店的工作坊(Photo Credit: Josh Valcarcel/WIRED)

他們說,深度學習革命是必然的,但像微軟、Google、Yahoo 和其他網路巨頭採用的語音識別和人工視覺系統能提早到來,就要歸功於 NCAP,特別是 Hinton。「我覺得這就是維持正向能量的來源,也是 Geoff 致力創造的目標,而大家也都向 Geoff 看齊。」

加州柏克萊大學紅木理論神經科學中心(Redwood Center for Theoretical Neuroscience)總監,同時也是 NCAP 成員的 Bruno Olshausen 說。「你會想:『Geoff 在聽,我一定也要認真聽。』」

組織外的其他人也同意這點。「過去 20 到 30 年,他一直在推動神經網路和深度學習前進,」百度深度學習學院總監 Kai Yu 說。「我們從來沒有見過機器學習和人工智慧靜這麼快在產業產生影響。這真的很了不起。」

Hinton 還環遊世界,發表深度學習的演講,他也會指導多倫多大學研究所以上的學生。Welling 說他習慣突然大喊:「我現在知道大腦是怎麼運作的了!」而且相當有感染力。「他每週都會這樣,」Welling 說。「你很難跟他比。」

Hinton 透過 NCAP 和 CIFAR 舉辦了夏日學院,讓學生能向 NCAP 的成員學習,藉此培養下一代的 AI 研究員。現在有愈來愈多商業公司進入這塊領域,教育也變得格外重要。並非只有科技巨頭參與這項運動,我們已經看到一波深度學習的新創團隊潮流,像是 Ersatz、Expet Labs 和 Declara。

下一代的研究員會把深度學習運動帶往何方?巨大的可能性就潛藏在我們網路上的發文中:近況更新、推特、即時訊息和留言。而這些訊息數量夠 Facebook、Google、Yahoo 忙上好一段時間了。目標是讓這些服務能夠不用透過其他人類,就實際了解使用者在說什麼。「我們希望把 AI 和 CIFAR 帶到新的美好境地,」Hinton 說,「去到沒有任何人、學生、計畫到過的境界。」

AI_04-new-660x440(Photo Credit: Josh Valcarcel/WIRED)

歡迎加入「Inside」Line 官方帳號,關注最新創業、科技、網路、工作訊息

好友人數

 

 

相關文章

曾一手催生 Google Brain 與 Coursera,百度首席科學家吳恩達宣布離職

百度現今已經明確了要主打人工智慧技術這一點,而作為百度的首席科學家,吳恩達無疑百度人工智慧技術的領軍人物。

Facebook 出電商新招:廣告看完馬上點就可買!

Facebook一直以來都想把資訊流介面打造成購物場所,過去也一直嘗試「社群電商」的路線但表現平平,現在他們推出新廣告格式「精選欄(Collection)」,要讓消費者邊滑邊買!

馬雲:對 Google 奇特的技術不感興趣

昨天馬雲在馬來西亞跟現場的青年人進行一場演講,他認為,未來 30 年才稱得上是真正的互聯網時代。

評論