讓 Google AI 夢成真的深度學習元老:Geoffrey Hinton

Geoffrey Hinton 在高中的時候,一位朋友告訴他,腦袋的運作原理就像全息投影一樣。要創造這種 3D 影像,你要記錄無數的光線在物品表面的反射情形,然後將這些散佈在廣大資料庫中的零碎資訊儲存起來。
評論
評論

原文來自 WIRED《Meet the Man Google Hired to Make AI a Reality》作者 Daniela Hernandez。台灣康泰納仕集團授權提供 / Inside Mia 編譯。

Geoffrey Hinton 在高中的時候,一位朋友告訴他,腦袋的運作原理就像 全息投影 一樣。

要創造這種 3D 影像,你要記錄無數的光線在物品表面的反射情形,然後將這些散佈在廣大資料庫中的零碎資訊儲存起來。

1960 年在英國讀高中的時候,他就深深被這個想法吸引。腦袋把資訊散佈到龐大的神經網路上,而非把所有訊息存在同一個地方。

這看起來可能微不足道的啟發,對 Hinton 來說卻是重要的關鍵時刻。「我聽到這個想法的時候非常興奮,」他回憶道,「這是我第一次對大腦的運作著迷。」而這也帶來了極大的影響。受到高中那段對話的啟發,Hinton 繼續到劍橋及蘇格蘭愛丁堡大學鑽研類神經網路。到了 80 年代末,他參與了一場野心勃勃的長征,開啟了現在稱之為「深度學習」的技術,用電腦軟體和硬體來模仿大腦。

整整三十年,深度學習都只是學術界的邊緣領域,但現在 Hinton 和紐約大學的 Yann LeCun、蒙特婁大學的 Yoshua Bengio 組成的深度學習團隊,獲得了網路巨擘的注意。Hinton 在加拿大多倫多大學當教授精進理論之餘,也在 Google 兼職,在那裡他利用深度學習改善了語音識別、影像標籤和其他數不清的網路工具。LeCun 也在 Facebook 從事類似的工作。然後人工智慧一夕之間就成了微軟、IBM、百度和許許多多公司追逐的熱潮。

在劍橋讀心理學的時候,Hinton 了解到科學家還沒完全弄懂大腦,頓時大受鼓舞。他們不太能掌握數十億神經細胞的互動,是怎麼產生智慧的。他們可以解釋電子訊號在像電纜一樣連接神經元的神經突觸間傳遞的路徑,但他們無法解釋設些神經如何學習或運算。對 Hinton 來說,這些是相當重大的問題,這問題的解答將能實現 1950 年代以來,人工智慧研究者的終極夢想。

他自己也還沒找到全部的解答,但至少離答案找到更近了一點。他讓類神經網路能模仿大腦的部分面向。「當我們發現讓類神經網路變得更好的方法,而且這個方法和腦袋的運作方式高度相關的時候,我非常興奮。」他熱情地說,充滿青春活力。

在 Hinton 的世界裡,神經網路本質就是在多重層級上運作的軟體。他和他的手下打造出來的類神經網路,軟體內部連結的方式就是參考處理視覺、語言等複雜資訊的大腦皮質神經排列。

這些類神經網路可以搜集資訊並做出反應。它們能建立並理解某物聽起來或看起來的樣子。它們愈來愈懂得分辨一組字放在一起產生的意義,不再需要像以前的機器學習工具一樣,透過人類為物件、概念和單字下標籤。

隨著人工智慧的發展,這些神經網路變得快速、敏捷、又有效率。它們成功擴展到大量成長的機器設備中,並且能完成愈來愈多的工作。而這些只花了大約 30 年。

瘋狂的核心

在 80 年代早期 Hinton 和同事剛開始研究這個想法的時候,電腦還沒有強到能處理神經網路所需的大量資料。他們的成功有限,而人工智慧圈子則放棄他們,轉而研究類似大腦的行為表現,而非模仿大腦運作的原理。

但少數研究者堅持繼續下去,根據 Hinton 和 LeCun,當時處境相當艱難。就算到了 2004 ,據他們開發最初的「倒傳遞」演算法已經 20 年,學界絕大部分還是不感興趣。

不過那年,加拿大高級研究所 (Canadian Institute for Advanced Research,CIFAR) 提供了些許資金,再加上 LeCun 和 Bengio 的支持,Hinton 建立了神經計算與響應式感知(Neural Computation and Adaptive Perception )專案。這是一個邀請制,並且由電腦科學家、生物學家、電子工程學家、神經學家、物理學家及心理學家組成的團體。

Hinton 親自挑選這些研究成員,而他的目標便是打造一個世界級的科學團隊,來創造能模仿有機智慧的電腦系統。至少達到我們認知中的有機智慧:就像大腦一樣在豐富的影像和聲音、文字線索之間切換,理解並回應這個環境。Hinton 相信這個團隊能能刺激 AI 的創新,或甚至改變世界看待這項成就的方式。

而他是對的。

▲Yoshua Bengio,蒙特婁大學的教授暨 AI 研究員 (Photo Credit: Josh Valcarcel/WIRED)

在 2000 至 2010 間,他們獲得了所需的計算技術,並實現了早期的許多想法。在擁有了共同的固定工作室後,實驗更是突飛猛進。他們製作了更強大的深度學習演算法,能夠處理更多的數據。在過去十年中,他們橫掃全球的 AI 競賽。而一邁入這個十年,網路巨人便開始注意到他們了。

2011 年,一位 NCAP 研究員就和史丹佛教授 Andrew Ng 一起在 Google 創立了一個深度學習專案,之後 Google 便大量利用神經網路技術來辨識語音指令和標籤 Google+ 上面分享的圖片。為了把讓成果更進一步,去年 Geoffrey 及其他多倫多大學的教授也加入了 Google。

同時,百度緊接著在矽谷及中國設立 AI 實驗室。微軟也在自己的語音辨識研究加入了深度學習技術。Facebook 則是延攬了 LeCun,探索新方法來鎖定目標廣告和相片影片中的臉孔及物品辨識。

▲Yann LeCun,紐約大學的人工智慧研究者,目前在 Facebook 工作 ( Photo Credit: Josh Valcarcel/WIRED)

NCAP 的另一位成員 Terry Sejnowski 則正在協助歐巴馬的 1 億美元 BRAIN 倡議專案,這個專案的目標是開發各種新工具來描繪神經迴路。早在 1980 年代 Sejnowski 在與 Hinton 共事時,就曾發明了最早的神經網路之一,波爾茲曼機

CIFAR 一年只有 50 萬美元的資金,Hinton 的智庫集團卻回饋了數不清的財富給經濟體系。這在 Google 已經是現在進行式。加拿大和整個世界的投資報酬率相當巨大,CIFAR 研究與合夥副總裁 Denis  Therien 說。

在過程中, Hinton 和 NACP 改變了那個一度屏棄他們的社群。大學生開始捨棄傳統的機器學習專案,轉而研究深度學習,阿姆斯特丹大學的電腦科學家 Max Welling 說。「這些資訊一點一滴從發源地擴散到了遙遠的荷蘭課堂。學生們都有聽過,也了解這項技術,」他說。「這對我來說就是深度學習已經傳遍各處最有力的證明。」

「我們敗於邊緣化的瘋狂,」Hinton 說。「現在我們成了瘋狂的核心。」

Hinton 看未來

去年秋天 NCAP 成員在舊金山市區的 Sir Francis Drake 飯店聚會。他們每年都會聚會一次,在為期兩天的工作坊之後,接著便是 AI 的年度重頭戲神經資訊處理系統進展大會(Neural Information Processing Systems, NIPS)。工作坊將探討廣大結合神經科學和機器學習並受益的技術,比如計算平面設計(computational graphic design)、臉部識別和動作偵測等。

在簡報活動中,Hinton 安靜地站在房間前方的角落。大部分的時候他都安靜地聽,但偶爾會蹦出幾個一針見血的問題,或鼓勵他智庫的成員問問題並提出討論。NACP 成員說,他安靜、謙遜又公正的領導風格創造了開放且高度協作的環境,而這直接加速了全世界的 AI 發展,更堅定了他們為這領域創造改變的決心。

▲NACP 12 月在舊金山 Sir Francis Drake 飯店的工作坊(Photo Credit: Josh Valcarcel/WIRED)

他們說,深度學習革命是必然的,但像微軟、Google、Yahoo 和其他網路巨頭採用的語音識別和人工視覺系統能提早到來,就要歸功於 NCAP,特別是 Hinton。「我覺得這就是維持正向能量的來源,也是 Geoff 致力創造的目標,而大家也都向 Geoff 看齊。」

加州柏克萊大學紅木理論神經科學中心(Redwood Center for Theoretical Neuroscience)總監,同時也是 NCAP 成員的 Bruno Olshausen 說。「你會想:『Geoff 在聽,我一定也要認真聽。』」

組織外的其他人也同意這點。「過去 20 到 30 年,他一直在推動神經網路和深度學習前進,」百度深度學習學院總監 Kai Yu 說。「我們從來沒有見過機器學習和人工智慧靜這麼快在產業產生影響。這真的很了不起。」

Hinton 還環遊世界,發表深度學習的演講,他也會指導多倫多大學研究所以上的學生。Welling 說他習慣突然大喊:「我現在知道大腦是怎麼運作的了!」而且相當有感染力。「他每週都會這樣,」Welling 說。「你很難跟他比。」

Hinton 透過 NCAP 和 CIFAR 舉辦了夏日學院,讓學生能向 NCAP 的成員學習,藉此培養下一代的 AI 研究員。現在有愈來愈多商業公司進入這塊領域,教育也變得格外重要。並非只有科技巨頭參與這項運動,我們已經看到一波深度學習的新創團隊潮流,像是 Ersatz、Expet Labs 和 Declara。

下一代的研究員會把深度學習運動帶往何方?巨大的可能性就潛藏在我們網路上的發文中:近況更新、推特、即時訊息和留言。而這些訊息數量夠 Facebook、Google、Yahoo 忙上好一段時間了。目標是讓這些服務能夠不用透過其他人類,就實際了解使用者在說什麼。「我們希望把 AI 和 CIFAR 帶到新的美好境地,」Hinton 說,「去到沒有任何人、學生、計畫到過的境界。」

(Photo Credit: Josh Valcarcel/WIRED)

歡迎加入「Inside」Line 官方帳號,關注最新創業、科技、網路、工作訊息

好友人數

 

 


Cookie 消失?試試看全新 AI 影像內容辨識:讓用戶看的內容決定看到的廣告

Google Chrome 即將淘汰幫助廣告主的工具—— Cookie ,它的離去將再一次地影響數位廣告產業。
評論
Photo Credit:<a href="https://www.shutterstock.com/zh/image-photo/ai-artificial-intelligence-big-data-internet-1075853384" target="_blank">shutterstock</a>
評論

透過GA分析進站者發現, Safari的新客數越來越多,難道這表示 iOS 的用戶數也跟著增加了嗎?注意了,這有可能是 Apple 封鎖第三方 Cookie 帶來的影響。隨著 Google 即將淘汰 Chrome 上的 Cookie ,這個幫助廣告主記住用戶受眾的小工具,將要再一次地影響數位廣告產業。

Photo Credit:驚點股份有限公司( FreakOut Taiwan )

後 Cookie 時代的廣告受眾如何鎖定?

各大廣告平台在過去幾年不斷地透過 Cookie 以及其它方式,悄悄收集使用者的用戶數據,隨著這幾年用戶的隱私權意識抬頭, Apple 與 Google 對於藉由 Cookie 辨識用戶資料的廣告投遞方式,持有不同的態度,這也將是所有廣告主的極大挑戰。當 Cookie 不復存在,要如何辨識使用者資料?

Cookie 消失了,或許會有新的數據辨識工具來取代,但是任何試圖跟蹤受眾的方式,都難以符合大眾對於保護隱私權的期望。另一方面,也極有可能無法再通過日趨嚴格的媒體監管限制。無論如何,數位廣告不能像過去一樣,無條件地使用類似 Cookie 的追蹤方式,來達到與現在同樣的廣告效果。

後 Cookie 時代內容辨識類型的廣告鎖定方式,將成為未來具指標性的投放策略。廣告與瀏覽平台或內文主題的高相關性,不僅能顯著提高受眾的互動度,更重要的是,完全不需要收集任何個人數據。

FreakOut Taiwan 不斷嘗試更友善的廣告投遞形式, 自 2016 年進入台灣市場的原生廣告,到 2020 年末引進「 Mirrors 」 AI 影像視覺內容辨識系統,都是以網路使用者的角度出發。「 Mirrors 」不需要使用傳統的受眾興趣設定,即可針對「目標受眾在觀看的影像內容」、「品牌自身競爭對手或相關指定系列產品出現的影片」來投遞 YouTube 上的影音廣告。

Photo Credit:驚點股份有限公司( FreakOut Taiwan )

AI 人工智慧影像技術突破,推動新一代內容辨識功能

傳統的內容比對廣告皆為自然語言處理 NLP 中心,基於「純文字」的比對來顯示相關廣告,如大家很熟悉的 Google AdSense 。但是,結合新興的 AI 演算和複雜的圖像辨識,已然能夠達到「影片」的內容偵測,透過增加多個比對層和基於自然語言處理 NLP 的基準定位,可深度學習並提供更精細的辨識洞察力。

舉例來說,若想要將汽車廣告投放給對汽車有興趣的人,我們要先從可能對汽車感興趣的受眾中開始推估,並且根據過去的經驗加入不同的興趣條件,最後針對素材更進一步地測試。透過 Mirrors ,我們可以讓廣告出現在有滿足特定條件的影片內,例如:在消費者觀看的影片中,出現汽車評測報告、自家品牌或競爭對手的 LOGO 、代言人等指定條件,再依照不同廣告主設定的預算判斷是否露出廣告。

藉由這樣的影像比對方式,可以更有效地根據消費者行為觸發廣告投遞條件,而不再是現行的用戶受眾數據。人的興趣是多樣且多變的,當對汽車有興趣的用戶在完成汽車的選購後,短期內將不會再瀏覽相關資訊,轉而瀏覽其他更具時效性的內容。透過消費者當下正在觀看的影片內容,取代消費者身上被貼上的數位標籤,將更貼近消費者本身的使用行為。

Photo Credit:驚點股份有限公司( FreakOut Taiwan )

Mirrors AI 影像辨識:用消費者看的內容決定廣告

2021 年台灣數位報告指出,台灣人在各網路內容服務中,最愛「網路影片」的比例高達 97.9%,遠超過 Vlog、串流音樂、網路廣播、Podcast 。

影音廣告早已是品牌經營的趨勢:根據 DMA 2019 年台灣數位廣告量統計報告指出,台灣各類型廣告中,影音廣告以 37.2% 的成長比例大幅領先奪冠。其中 YouTube 持續蟬聯台灣最常被造訪網站第 2 名(僅次於 Google ) ,在台灣各大影音平台中的觸及率及影響力不容小覷。

2021 年 FreakOut Taiwan 已與客戶合作,進行搭載新系統的 YouTube 串流內廣告投遞,在針對品牌及產品客製化的多層鎖定策略建議下,房地產廣告的 CTR 表現高於平均,並發現「人臉」群組辨識表現為佳,其中多為財經、名嘴等名人。而美妝品牌廣告 VTR 表現優異,則以品牌「 Logo 」、「人臉」群組有最出色的表現。

本文章內容由「驚點股份有限公司( FreakOut Taiwan )」提供,經關鍵評論網媒體集團廣編企劃編審。