AI 攝影師!Google 黑科技自動拍照的 Clips 攝影機上架秒殺

Google 用機器學習幫你決定「哪些瞬間值得被記錄」的黑科技相機 Clips 一推出就秒殺!
評論
Photo credit: Google Store US
評論

原文刊登於 Geekpark,INSDIE 獲授權轉載。

在 2017 年 10 月的 秋季發表會 上,Google 發表了智慧相機 Clips,它沒有取景框和麥克風,只有攝影鏡頭和快門,使用機器學習來幫助用戶抓拍精彩瞬間,所有一切都自動完成。這個不起眼的「小產品」實際上凝聚了 Google 在智慧硬體上的巨大野心。

在那次發表會上,Google 提出了「AI+硬體+軟體」的概念,而 Clips 正是這個理念下最具代表性的產品。1 月 27 日,Clips 終於上架 Google 商店,以 249 美元的價格出售。也許是為了配合上市,Google 以 Clips 為案例發表了一篇長文,闡述「以人為本」的設計理念,從中可以看到 Google 對 AI 應用的一些思考、堅持的原則和方法論。

以下內容根據 Google Design 發表的「The UX of AI」一文編譯,內容有適當刪減。

解決真正的人類需求

機器學習無法得知哪些問題需要被解決,如果不從人的需求出發,最終就會為了一個很小甚至是不存在的需求,去建立一個強大的系統。所以,AI 應該從人的需求出發。

在今年,人們將拍攝大約一萬億張照片,對於大多數人來講,這意味著我們會有一個實際上不會再去翻看的電子相簿。尤其是對於新生兒的父母,他們生活中的每個點滴都值得記錄。在那些珍貴而又短暫的時刻,他們需要將注意力放在手機上,透過螢幕來看自己的孩子,而不是和孩子進行交流。

我們需要一個隨時隨地在線上的攝影師在身邊,捕捉那些珍貴但轉瞬即逝的時刻,比如孩子的微笑,Clips 就是為此而生。

AI 需要人類的引導

機器學習是一個多學科的系統,根據數據自動分析出規律然後進行預測。模型的任務就是評判這些規律的重要性,盡可能保證準確。但需要注意的是,從建立模型、選擇數據源到打標籤,都會影響最終的結果,而這些都會受到人類判斷的影響。所以,人類引導在機器學習中的作用不可忽視。

解決抓拍照片的問題,最緊迫的一點是:如果人們拍攝了大量照片,但其實並不想事後重新編輯、整理,那麼該如何標記這些照片呢?這就需要一個理論上的「人類專家」來完成這個任務。這裡的理論有兩層含義:首先,如果人類無法完成這個任務,那麼 AI 也不能。其次,透過研究人類專家的行為,我們可以知道如何進行數據收集、標記和建立機器學習模型。

透過不斷的嘗試,我們找到了一個紀錄片製作人、一個攝影記者和一個藝術攝影師,利用他們的專業知識和經驗,試圖回答「哪些瞬間值得被記錄」。

Photo credit: Google Store US
Photo credit: Google Store US

判斷標準要統一

我們將景深、三分法則、燈光照明、構圖、故事性等標準全部加入進去,讓它在一個足夠簡化的框架下進行學習。

老師給出兩個完全不同的例子時,學生會快速給出回饋,但演算法不會。對於 Clips 來說,不光要讓它學會哪些瞬間值得記錄,還要知道忽略哪種類型的照片。

比如在抓拍時,忽略手指擋住鏡頭、快速晃動、模糊的照片,留下穩定、清晰、構圖合適的照片,臉部檢測可以實現這一點。

拍照的前提是彼此熟悉,用相機朝向某人時,他們會微笑或點頭表示同意,有了智慧相機,可以根據社交關係來判斷你所要關注的人是誰,判斷標準可以使這些人在你照片中出現的次數等,這樣就避免抓拍到不相關的陌生人。

Photo credit: Google
Photo credit: Google

建立信任

Google 在 Clips 上投入精力的原因之一是想向全世界展示,將機器學習內建到設備中,並進行隱私保護的重要性。相機是個很私人的東西,我們一直在努力確保它的硬體、智慧系統和內容都只屬於用戶自己,所以在 Clips 上增加了軟體取景器和快門按鈕。用戶對於留下來的照片有最終決定權,我們會展示被挑選出的「精彩瞬間」,用戶也可以自己選擇影片的長短,或者刪除哪些照片。

和傳統的工具相比,機器學習系統無法避免 bug,所以「完美」是不可能的,甚至不能當成一個目標。因為用機器學習進行預測,本身就是一個模糊的技術。但也正是因為這種模糊性,我們可以設計出更強大、複雜的判別系統。Clips 能做的不僅是保存、刪除、編輯,還根據用戶、拍攝對象的狀態不斷變化,隨時間不斷學習。

在「以人為本」的理念下,我們可以釋放機器學習更大的潛力,讓機器變得更加智慧,探索增強人類能力的方法。首先要牢記幾點:尋找和解決人類的真正需求、維護人類的價值、增強人類的能力而不是將一切都自動化。

人工智慧的作用不應該是替我們大海撈針,而是向我們展示它能清除多少海草,以便我們更容易找到針。


Cookie 消失?試試看全新 AI 影像內容辨識:讓用戶看的內容決定看到的廣告

Google Chrome 即將淘汰幫助廣告主的工具—— Cookie ,它的離去將再一次地影響數位廣告產業。
評論
Photo Credit:<a href="https://www.shutterstock.com/zh/image-photo/ai-artificial-intelligence-big-data-internet-1075853384" target="_blank">shutterstock</a>
評論

透過GA分析進站者發現, Safari的新客數越來越多,難道這表示 iOS 的用戶數也跟著增加了嗎?注意了,這有可能是 Apple 封鎖第三方 Cookie 帶來的影響。隨著 Google 即將淘汰 Chrome 上的 Cookie ,這個幫助廣告主記住用戶受眾的小工具,將要再一次地影響數位廣告產業。

Photo Credit:驚點股份有限公司( FreakOut Taiwan )

後 Cookie 時代的廣告受眾如何鎖定?

各大廣告平台在過去幾年不斷地透過 Cookie 以及其它方式,悄悄收集使用者的用戶數據,隨著這幾年用戶的隱私權意識抬頭, Apple 與 Google 對於藉由 Cookie 辨識用戶資料的廣告投遞方式,持有不同的態度,這也將是所有廣告主的極大挑戰。當 Cookie 不復存在,要如何辨識使用者資料?

Cookie 消失了,或許會有新的數據辨識工具來取代,但是任何試圖跟蹤受眾的方式,都難以符合大眾對於保護隱私權的期望。另一方面,也極有可能無法再通過日趨嚴格的媒體監管限制。無論如何,數位廣告不能像過去一樣,無條件地使用類似 Cookie 的追蹤方式,來達到與現在同樣的廣告效果。

後 Cookie 時代內容辨識類型的廣告鎖定方式,將成為未來具指標性的投放策略。廣告與瀏覽平台或內文主題的高相關性,不僅能顯著提高受眾的互動度,更重要的是,完全不需要收集任何個人數據。

FreakOut Taiwan 不斷嘗試更友善的廣告投遞形式, 自 2016 年進入台灣市場的原生廣告,到 2020 年末引進「 Mirrors 」 AI 影像視覺內容辨識系統,都是以網路使用者的角度出發。「 Mirrors 」不需要使用傳統的受眾興趣設定,即可針對「目標受眾在觀看的影像內容」、「品牌自身競爭對手或相關指定系列產品出現的影片」來投遞 YouTube 上的影音廣告。

Photo Credit:驚點股份有限公司( FreakOut Taiwan )

AI 人工智慧影像技術突破,推動新一代內容辨識功能

傳統的內容比對廣告皆為自然語言處理 NLP 中心,基於「純文字」的比對來顯示相關廣告,如大家很熟悉的 Google AdSense 。但是,結合新興的 AI 演算和複雜的圖像辨識,已然能夠達到「影片」的內容偵測,透過增加多個比對層和基於自然語言處理 NLP 的基準定位,可深度學習並提供更精細的辨識洞察力。

舉例來說,若想要將汽車廣告投放給對汽車有興趣的人,我們要先從可能對汽車感興趣的受眾中開始推估,並且根據過去的經驗加入不同的興趣條件,最後針對素材更進一步地測試。透過 Mirrors ,我們可以讓廣告出現在有滿足特定條件的影片內,例如:在消費者觀看的影片中,出現汽車評測報告、自家品牌或競爭對手的 LOGO 、代言人等指定條件,再依照不同廣告主設定的預算判斷是否露出廣告。

藉由這樣的影像比對方式,可以更有效地根據消費者行為觸發廣告投遞條件,而不再是現行的用戶受眾數據。人的興趣是多樣且多變的,當對汽車有興趣的用戶在完成汽車的選購後,短期內將不會再瀏覽相關資訊,轉而瀏覽其他更具時效性的內容。透過消費者當下正在觀看的影片內容,取代消費者身上被貼上的數位標籤,將更貼近消費者本身的使用行為。

Photo Credit:驚點股份有限公司( FreakOut Taiwan )

Mirrors AI 影像辨識:用消費者看的內容決定廣告

2021 年台灣數位報告指出,台灣人在各網路內容服務中,最愛「網路影片」的比例高達 97.9%,遠超過 Vlog、串流音樂、網路廣播、Podcast 。

影音廣告早已是品牌經營的趨勢:根據 DMA 2019 年台灣數位廣告量統計報告指出,台灣各類型廣告中,影音廣告以 37.2% 的成長比例大幅領先奪冠。其中 YouTube 持續蟬聯台灣最常被造訪網站第 2 名(僅次於 Google ) ,在台灣各大影音平台中的觸及率及影響力不容小覷。

2021 年 FreakOut Taiwan 已與客戶合作,進行搭載新系統的 YouTube 串流內廣告投遞,在針對品牌及產品客製化的多層鎖定策略建議下,房地產廣告的 CTR 表現高於平均,並發現「人臉」群組辨識表現為佳,其中多為財經、名嘴等名人。而美妝品牌廣告 VTR 表現優異,則以品牌「 Logo 」、「人臉」群組有最出色的表現。

本文章內容由「驚點股份有限公司( FreakOut Taiwan )」提供,經關鍵評論網媒體集團廣編企劃編審。