讓 Google AI 夢成真的深度學習元老:Geoffrey Hinton

Geoffrey Hinton 在高中的時候,一位朋友告訴他,腦袋的運作原理就像全息投影一樣。要創造這種 3D 影像,你要記錄無數的光線在物品表面的反射情形,然後將這些散佈在廣大資料庫中的零碎資訊儲存起來。
評論
評論

原文來自 WIRED《Meet the Man Google Hired to Make AI a Reality》作者 Daniela Hernandez。台灣康泰納仕集團授權提供 / Inside Mia 編譯。

Geoffrey Hinton 在高中的時候,一位朋友告訴他,腦袋的運作原理就像 全息投影 一樣。

要創造這種 3D 影像,你要記錄無數的光線在物品表面的反射情形,然後將這些散佈在廣大資料庫中的零碎資訊儲存起來。

1960 年在英國讀高中的時候,他就深深被這個想法吸引。腦袋把資訊散佈到龐大的神經網路上,而非把所有訊息存在同一個地方。

這看起來可能微不足道的啟發,對 Hinton 來說卻是重要的關鍵時刻。「我聽到這個想法的時候非常興奮,」他回憶道,「這是我第一次對大腦的運作著迷。」而這也帶來了極大的影響。受到高中那段對話的啟發,Hinton 繼續到劍橋及蘇格蘭愛丁堡大學鑽研類神經網路。到了 80 年代末,他參與了一場野心勃勃的長征,開啟了現在稱之為「深度學習」的技術,用電腦軟體和硬體來模仿大腦。

整整三十年,深度學習都只是學術界的邊緣領域,但現在 Hinton 和紐約大學的 Yann LeCun、蒙特婁大學的 Yoshua Bengio 組成的深度學習團隊,獲得了網路巨擘的注意。Hinton 在加拿大多倫多大學當教授精進理論之餘,也在 Google 兼職,在那裡他利用深度學習改善了語音識別、影像標籤和其他數不清的網路工具。LeCun 也在 Facebook 從事類似的工作。然後人工智慧一夕之間就成了微軟、IBM、百度和許許多多公司追逐的熱潮。

在劍橋讀心理學的時候,Hinton 了解到科學家還沒完全弄懂大腦,頓時大受鼓舞。他們不太能掌握數十億神經細胞的互動,是怎麼產生智慧的。他們可以解釋電子訊號在像電纜一樣連接神經元的神經突觸間傳遞的路徑,但他們無法解釋設些神經如何學習或運算。對 Hinton 來說,這些是相當重大的問題,這問題的解答將能實現 1950 年代以來,人工智慧研究者的終極夢想。

他自己也還沒找到全部的解答,但至少離答案找到更近了一點。他讓類神經網路能模仿大腦的部分面向。「當我們發現讓類神經網路變得更好的方法,而且這個方法和腦袋的運作方式高度相關的時候,我非常興奮。」他熱情地說,充滿青春活力。

在 Hinton 的世界裡,神經網路本質就是在多重層級上運作的軟體。他和他的手下打造出來的類神經網路,軟體內部連結的方式就是參考處理視覺、語言等複雜資訊的大腦皮質神經排列。

這些類神經網路可以搜集資訊並做出反應。它們能建立並理解某物聽起來或看起來的樣子。它們愈來愈懂得分辨一組字放在一起產生的意義,不再需要像以前的機器學習工具一樣,透過人類為物件、概念和單字下標籤。

隨著人工智慧的發展,這些神經網路變得快速、敏捷、又有效率。它們成功擴展到大量成長的機器設備中,並且能完成愈來愈多的工作。而這些只花了大約 30 年。

瘋狂的核心

在 80 年代早期 Hinton 和同事剛開始研究這個想法的時候,電腦還沒有強到能處理神經網路所需的大量資料。他們的成功有限,而人工智慧圈子則放棄他們,轉而研究類似大腦的行為表現,而非模仿大腦運作的原理。

但少數研究者堅持繼續下去,根據 Hinton 和 LeCun,當時處境相當艱難。就算到了 2004 ,據他們開發最初的「倒傳遞」演算法已經 20 年,學界絕大部分還是不感興趣。

不過那年,加拿大高級研究所 (Canadian Institute for Advanced Research,CIFAR) 提供了些許資金,再加上 LeCun 和 Bengio 的支持,Hinton 建立了神經計算與響應式感知(Neural Computation and Adaptive Perception )專案。這是一個邀請制,並且由電腦科學家、生物學家、電子工程學家、神經學家、物理學家及心理學家組成的團體。

Hinton 親自挑選這些研究成員,而他的目標便是打造一個世界級的科學團隊,來創造能模仿有機智慧的電腦系統。至少達到我們認知中的有機智慧:就像大腦一樣在豐富的影像和聲音、文字線索之間切換,理解並回應這個環境。Hinton 相信這個團隊能能刺激 AI 的創新,或甚至改變世界看待這項成就的方式。

而他是對的。

▲Yoshua Bengio,蒙特婁大學的教授暨 AI 研究員 (Photo Credit: Josh Valcarcel/WIRED)

在 2000 至 2010 間,他們獲得了所需的計算技術,並實現了早期的許多想法。在擁有了共同的固定工作室後,實驗更是突飛猛進。他們製作了更強大的深度學習演算法,能夠處理更多的數據。在過去十年中,他們橫掃全球的 AI 競賽。而一邁入這個十年,網路巨人便開始注意到他們了。

2011 年,一位 NCAP 研究員就和史丹佛教授 Andrew Ng 一起在 Google 創立了一個深度學習專案,之後 Google 便大量利用神經網路技術來辨識語音指令和標籤 Google+ 上面分享的圖片。為了把讓成果更進一步,去年 Geoffrey 及其他多倫多大學的教授也加入了 Google。

同時,百度緊接著在矽谷及中國設立 AI 實驗室。微軟也在自己的語音辨識研究加入了深度學習技術。Facebook 則是延攬了 LeCun,探索新方法來鎖定目標廣告和相片影片中的臉孔及物品辨識。

▲Yann LeCun,紐約大學的人工智慧研究者,目前在 Facebook 工作 ( Photo Credit: Josh Valcarcel/WIRED)

NCAP 的另一位成員 Terry Sejnowski 則正在協助歐巴馬的 1 億美元 BRAIN 倡議專案,這個專案的目標是開發各種新工具來描繪神經迴路。早在 1980 年代 Sejnowski 在與 Hinton 共事時,就曾發明了最早的神經網路之一,波爾茲曼機

CIFAR 一年只有 50 萬美元的資金,Hinton 的智庫集團卻回饋了數不清的財富給經濟體系。這在 Google 已經是現在進行式。加拿大和整個世界的投資報酬率相當巨大,CIFAR 研究與合夥副總裁 Denis  Therien 說。

在過程中, Hinton 和 NACP 改變了那個一度屏棄他們的社群。大學生開始捨棄傳統的機器學習專案,轉而研究深度學習,阿姆斯特丹大學的電腦科學家 Max Welling 說。「這些資訊一點一滴從發源地擴散到了遙遠的荷蘭課堂。學生們都有聽過,也了解這項技術,」他說。「這對我來說就是深度學習已經傳遍各處最有力的證明。」

「我們敗於邊緣化的瘋狂,」Hinton 說。「現在我們成了瘋狂的核心。」

Hinton 看未來

去年秋天 NCAP 成員在舊金山市區的 Sir Francis Drake 飯店聚會。他們每年都會聚會一次,在為期兩天的工作坊之後,接著便是 AI 的年度重頭戲神經資訊處理系統進展大會(Neural Information Processing Systems, NIPS)。工作坊將探討廣大結合神經科學和機器學習並受益的技術,比如計算平面設計(computational graphic design)、臉部識別和動作偵測等。

在簡報活動中,Hinton 安靜地站在房間前方的角落。大部分的時候他都安靜地聽,但偶爾會蹦出幾個一針見血的問題,或鼓勵他智庫的成員問問題並提出討論。NACP 成員說,他安靜、謙遜又公正的領導風格創造了開放且高度協作的環境,而這直接加速了全世界的 AI 發展,更堅定了他們為這領域創造改變的決心。

▲NACP 12 月在舊金山 Sir Francis Drake 飯店的工作坊(Photo Credit: Josh Valcarcel/WIRED)

他們說,深度學習革命是必然的,但像微軟、Google、Yahoo 和其他網路巨頭採用的語音識別和人工視覺系統能提早到來,就要歸功於 NCAP,特別是 Hinton。「我覺得這就是維持正向能量的來源,也是 Geoff 致力創造的目標,而大家也都向 Geoff 看齊。」

加州柏克萊大學紅木理論神經科學中心(Redwood Center for Theoretical Neuroscience)總監,同時也是 NCAP 成員的 Bruno Olshausen 說。「你會想:『Geoff 在聽,我一定也要認真聽。』」

組織外的其他人也同意這點。「過去 20 到 30 年,他一直在推動神經網路和深度學習前進,」百度深度學習學院總監 Kai Yu 說。「我們從來沒有見過機器學習和人工智慧靜這麼快在產業產生影響。這真的很了不起。」

Hinton 還環遊世界,發表深度學習的演講,他也會指導多倫多大學研究所以上的學生。Welling 說他習慣突然大喊:「我現在知道大腦是怎麼運作的了!」而且相當有感染力。「他每週都會這樣,」Welling 說。「你很難跟他比。」

Hinton 透過 NCAP 和 CIFAR 舉辦了夏日學院,讓學生能向 NCAP 的成員學習,藉此培養下一代的 AI 研究員。現在有愈來愈多商業公司進入這塊領域,教育也變得格外重要。並非只有科技巨頭參與這項運動,我們已經看到一波深度學習的新創團隊潮流,像是 Ersatz、Expet Labs 和 Declara。

下一代的研究員會把深度學習運動帶往何方?巨大的可能性就潛藏在我們網路上的發文中:近況更新、推特、即時訊息和留言。而這些訊息數量夠 Facebook、Google、Yahoo 忙上好一段時間了。目標是讓這些服務能夠不用透過其他人類,就實際了解使用者在說什麼。「我們希望把 AI 和 CIFAR 帶到新的美好境地,」Hinton 說,「去到沒有任何人、學生、計畫到過的境界。」

(Photo Credit: Josh Valcarcel/WIRED)

歡迎加入「Inside」Line 官方帳號,關注最新創業、科技、網路、工作訊息

好友人數

 

 


Akamai 服務上新,於邊緣處推動快速創新

Akamai EdgeWorkers 為開發團隊提供豐富功能和工具來創建新的微服務,利用 Akamai 提供的 25 萬台分佈式服務器組成的網絡,在邊緣執行安全而快速的計算,並在邊緣暫存內容,以實現快速交付。
評論
評論

在雲計算技術還沒有大規模普及前,絕大部分企業和組織都需要自建數據中心,或通過託管的方式來部署自己的硬體基礎架構,並在此基礎上為員工和客戶提供服務。取決於業務或其他方面的諸多要求,此時需要部署的數據中心可能有很多個,並廣泛分佈在不同地區,藉此為客戶提供流暢的體驗,並透過多個數據中心保障連續性。在發展的過程中,隨著「雲端」的出現,讓各個組織的計算開始集中。

而當在線直播、無人駕駛、智能家電、物聯網等應用開始陸續深入我們的工作和生活,情況又不同了。以往透過雲平台集中運行和服務的模式,因為距離導致的網絡延遲已經對用戶的使用體驗產生極大影響。為了提供更敏捷、靈活、快速、可靠的體驗,企業需要從最貼近用戶的地方提供服務。因此,邊緣計算就成為最有效的解決方法。

透過將數據的收集、分析和處理等工作,由「雲中心」重新分散到最接近用戶的邊緣位置,企業可以就近為用戶提供服務,通過延遲更低的響應打造更出色的用戶體驗。

「無服務器」的出現,帶來計算方式的革新

以前,當組織需要上線一套業務系統時,首先需要採購並部署相應的服務器硬體,並且要負擔服務器日常運維過程中的管理、維護、補丁安裝、配置等繁瑣任務。

上雲前,組織需要在自己的數據中心,以硬體服務器的方式執行這一系列工作;上雲後雖然簡單許多,但依然需要面對雲服務商提供的虛擬服務器,從本質上來看相關負擔仍相當繁重。

無服務器(Serverless)技術的出現,讓組織可以在不需要考慮服務器的情況下,構建並運行由微服務構成的創新式應用程式與和服務。藉此不僅可以省略基礎架構管理任務,還能為幾乎任何類型的應用程式或後端服務構建無服務器應用程序,更方便、靈活地構建出具備極高可用性的應用。

Akamai EdgeWorkers :為創新賦能

Akamai EdgeWorkers 為開發團隊提供豐富功能和工具來創建新的微服務,利用Akamai 超過 25 萬台分佈式服務器組成的網絡,在邊緣執行安全而快速的計算,並在邊緣暫存內容,以實現快速交付。

當開發團隊在邊緣開啟代碼時,他們會將數據、見解和邏輯推送到更靠近最終用戶的位置。Akamai 的高性能、可擴展式實施模型,可確保數據和計算不會被延遲問題困擾,進而避免對數字化體驗產生負面影響。

在該服務幫助下,開發者可直接在 Akamai 的全球分佈式平台上快速、迭代地創建和部署新服務,以解決問題和自定義交付。

長期以來,Akamai 在邊緣計算的創新和成功實施皆具有優勢。自 1998 年起,便開始為 Akamai 內容交付網絡(CDN)的客戶推出自定義交付邏輯,其他里程碑還包括 2001 年的 Edge Site Includes 、2002 年的 Edge Java 以及 2014 年的 cloudlet 應用程式。

目前, Akamai 在全球擁有超過 4100 個入網點,為 EdgeWorkers 用戶提供出色的邊緣基礎架構規模和範圍,開發人員可以在靠近最終用戶和他們的數字化接觸點的地方部署代碼,以實現盡可能低的延遲。EdgeWorkers 同樣獨立於雲,客戶可以選擇利用 CDN 供應商或雲供應商平台上的無服務器計算功能。在 Akamai 幫助下,客戶可以在整個混合雲或多雲環境中部署單一的無服務器計算平台。

更多相關資訊:https://www.akamai.com/solutions/edge

本文章內容由「猿聲串動」提供,經關鍵評論網媒體集團廣編企劃編審。