【Lynn寫點週報】CPU+GPU+NPU──隨著Google Pixel 3的發表,浮現智慧型手機處理器下一波發展雛形

評論
評論

今年九月到十月是智慧型手機發表的旺季,眾多手機大廠搶著在十一月接連開始的購物旺季發表新機,瞄準一年一度的購物旺季商機。

Google 在今年收購完 HTC 的手機設計部門後,由原班人馬打造的 Pixel 3 自然成為眾所矚目的產品,本次的關注程度超越以往 Nexus、Pixel 一代及二代。

Google 從軟體跨行走向硬體的策略也越趨明朗:透過布屬智慧家居硬體於消費者的家中,貼近消費者生活及時間,藉此創造更多的廣告收入。

Google 本質上還是一間網路廣告公司,跨入硬體是為了拓展它的廣告通路,跟蘋果這類硬體公司在發展策略上有相當大的差別。

尷尬的是,在發表會開始之前,幾乎所有的硬體細節以及軟體資訊已經外洩,不但部落客爆料拿到實機,香港的通路業者甚至在發表前就開賣 Pixel 3 XL,可說是 2018 年外洩最嚴重的一支手機。

隔行如隔山,即使是 Google 這種頂尖的軟體公司跨行做硬體,還是難以避免代工廠資訊外洩的問題(iPhone 的硬體也在發表會之前就曝光,差異只在洩密資訊多寡)。

有趣的是,Google 在發表會前夕公布了一支影片,標語打上「So you think you know...」,意圖讓人誤會外洩的一切資訊都是幌子,Google 其實還有藏有新的產品,或是 Pixel 手機根本不是外流的那一支。

雖然那時 Lynn 認為外洩的應該都是真的了,在目前這種全球一環扣一環的製造生態系中,合作對象太多,要不洩密真的太困難了,但發表會前夕出現這個影片,短時間內把氣氛炒到最高點。

論壇上許多人在猜測是不是 Google 要給出一個大驚喜,雖然最後證實觀眾們被耍了,發表的內容跟先前外洩的一模一樣,但 Google 這樣的行銷策略真的非常有效,果然是間擅長行銷的軟體公司。

身為一個熱愛 Google 原生手機的卓粉(用過 Nexus 5 及 5x),Lynn 本周的討論主題一定要提到本月新發表的 Pixel 3,但不只如此,Pixel 系列手機的發表通常代表 Android 手機的標竿(當然不是指那可悲的 4g ram 記憶體),而是從軟體及搭配的硬體面來看,Pixel 手機的設計理念究竟向我們展示了什麼樣的次世代智慧型手機? 

從以前的單純硬體提升,到現在的計算攝影 (Computational Photography)

2016 年以前推出的旗艦手機,攝影能力的升級都建立在採用新的 CMOS 影像感測器,對於軟體層面的著墨比較少。

大部分品牌都直接採用高通處理器內建的方案,各家再去作設定微調。所以拍照能力的好壞便取決於感測鏡頭,每一家都在比誰採用更高階的鏡頭、帶來更好的成像,攝影排行榜上前幾名均是採用最先進鏡頭的旗艦手機。

到了 2017 年,競爭狀況更趨激烈,各家開始比拚鏡頭的數量、以及雙鏡頭的景深誰可以抓得最自然,但是礙於高通處理器的限制,Android 廠商還停留在競爭硬體以及景深算法的階段,普遍的拍照場景辨識的效能不盡人意。

目前即使是最高階的高通 Snap Dragon 845 仍沒有搭載獨立的 NPU,影像處理還是依靠 CPU 跟 GPU 運算,當手機開啟濾鏡或是 HDR 功能,手機難免因為高負載運算而發燙,電量也會消耗得更快。

同年,Google 的 Pixel 2 系列已經搭載了 Pixel Visual Core 的獨立影像處理晶片(專門處理影像,稱作 IPU),這時 Pixel 2 在影像處理上作為先驅,奠定了 Pixel 3 的基礎,然而開賣的國家僅有 6 個國家,當時並沒有引起太多的討論話題,僅有少數的專業玩家有注意到 Pixel 2 優異的照片處理能力。

根據 XDA 取得的消息,Pixel 2 的 HDR+功能並沒有實際用到 Pixel Visual Core 這顆晶片,也不知道為何 Google 沒有啟動這顆晶片,但他們表示未來 Pixel 2 將解除封印,取得 Pixel 3 的部分拍攝功能,像是 Top Shot、Motion Auto Focus 之類的功能──現在這顆晶片還處於沉睡狀態(去年買 Pixel 2 真的超值)。

後來華為推出的 Kirin 970 搭載了寒武紀科技研發的 NPU 硬體及算法,讓 P20 pro 一舉拿下 DxOMark 的最高分。算是計算攝影概念逐漸普及的開端,到了上禮拜發表的 Piexl 3,預計在全球各大地區開賣,而發表會展示出來的驚人 AI 攝影效果及功能,正式讓計算攝影的概念衝擊大眾市場,每個人都期待 Pixel 3 手機的拍照性能可以提升到何種驚人的程度。

Google重新塑造消費者對於手機攝影的概念

Google 跟蘋果兩間公司有著本質上的差異,蘋果是間硬體公司,甚至擁有能夠自行設計處理器的能力;Google 是間軟體公司,強項是軟體開發,除了本身的網路廣告業務,近來以深度學習等技術而聞名於全球。

Google 軟體頂尖的印象深留消費者的心裡,對於 Pixel 3 系列手機,每個人都關注 Google 怎麼樣將軟體發揮得淋漓盡致,像是 HDR、TOP SHOT、HIGH RES 這些功能…

類似的概念在之前已經有其他廠商推出過了,只是 Google 倚靠本身的軟體處理將效果強化到實際有感的程度,本身的品牌印象更是不停提醒消費者──Google 強大的軟體能力可以弭補硬體上的不足,意圖向市場宣示:「軟體為王的時代來了,計算攝影(Computational Photography)才是下一個未來」。

雖然蘋果早在 A11 處理器便加入類神經網路引擎, 在今年 iPhone 手機發表會上也大力推廣計算攝影的概念 ,強調 Smart HDR 的強大功能,但大部分的消費者還是關注蘋果這次的硬體規格,像是處理器效能、使用的記憶體大小等等。

計算攝影被大部分的消費者忽略,但由於 Google 藉由自身的品牌力以及單純強調軟體的發布方式(硬體方面也沒什麼值得說的),成功讓消費者認知到計算攝影的重要性。  

要強調的一點是,這不代表軟體可以取代硬體,兩者的整合才能發揮性能,礙於高通 Snapdragon 845 尚未搭載獨立 NPU,Pixel 手機強大的圖形處理能力來自於 Pixel Visual Core 獨立影像處理晶片,Pixel 3 的 Pixel Visual Core 跟 Pixel 2 是同一顆,Google 今年並沒有採用新的 IPU,因此 Pixel 2 也能透過更新取得 Pixel 3 的功能。

根據 XDA 的消息,Pixel 3 是使用 IPU 才得以執行 Top Shot、Night Sight 這類的高運算任務。

舉例來說,發表會中令人驚豔的夜景拍攝功能 Night Sight,原理是透過更長的曝光時間,將這段時間拍攝的多張圖片,利用 IPU 執行演算法合成一張幾乎像是白天的照片,效果雖然驚人,但也要求高手持穩定度,所以對手震的容忍度很低,這一項功能 Pixel 3 上市時並不會開放,使用者要等到年底才能透過更新取得。

下一個處理器世代競爭:CPU+GPU+NPU

市面上的旗艦等級行動處理器:Kirin 970、Snapdragon 845 及 A12 Bionic,其中只有高通的 Snapdragon 845 尚未搭載獨立的 NPU。

以目前的消息來看,下一世代的 Snapdragon 855(或是 8150)將會搭載獨立的 NPU;華為在日前發布的 KirIn 980(Mate 20 pro 即將採用),也特別標註其升級後的 NPU 性能。顯然下一世代的處理器將從過去的 CPU+GPU,升級到 CPU+GPU+NPU 的競爭。

但這不只是單純硬體的競爭,更考驗手機品牌垂直的軟硬整合能力,除了高通的通用解決方案以外。華為以及蘋果都是採用自製的 SOC 及 NPU,可以從硬體面及演算法直接發展自己的獨特性,不需要倚靠高通的方案。當然高通的方案可能不遜於這兩家。

但各家 Android 廠要在固定的框架下發展自己的獨特性還是比較困難的,並不是每一家都像 Google 有能力研發自己的獨立處理晶片。

當高通的 855 SOC 解決方案出來後,大概又會有一堆廠商以獨立的 NPU 晶片作為行銷賣點,背後還是同一套高通的硬體跟算法,只是各家依照自己的策略方向進行微調。

此外在 NPU 的應用方面,令我比較好奇的是今年蘋果跟 Google 一致在發表會上推廣 AR 功能。

但這一項功能應用現階段僅使用在遊戲上,尚未在手機本身的功能中大量應用。所以 Google 這次提出來的 AR Playground 概念就相當令人疑惑,不知道日常生活中如何頻繁使用到這項功能,跟 IOS 的 EMOJI 功能一樣有些雞肋。

可能還需要一段時間等待 AR 應用軟體開發出來,這項功能才能進一步獲得廣泛運用。

計算攝影成為旗艦機主流,沒有能力研發 NPU 跟演算法的小廠旗艦機只能往中階價格走

這樣的發展局勢對於 Android 小廠非常不利,像是 NPU 及 AI 算法這種高門檻的產品,沒有一定出貨量的公司無法自行研發,推出的手機拍攝能力以及使用的演算法品質自然沒辦法跟大廠競爭,雖然高通明年也會推出 NPU 通用解決方案,但定價上一定有所提升(7nm 製程只有台積電一家,代工價格肯定昂貴),高通明年的新旗艦處理器方案肯定更加昂貴。

如果採用高通的最新方案,小廠的利潤被削弱,但為了競爭又不得不採用,除非聯發科明年可以推出同等效能的處理器,但今年聯發科只有那顆 P60 打天下,應該仍有一定的困難度。

目前尚未得知高通是否也會提供整套的 AI 影像辨識及處理技術,如果會的話,小廠能利用這套框架最佳化到何種程度也是個未知數。過了 2018 年,NPU 的普及將墊高旗艦智慧型手機的門檻,小廠的手機部門可能面臨另一波淘汰危機。

目前市場上已有跡象顯示這樣的趨勢,自從小米的 POCOPHONE 出現,定價一萬出頭的中階手機也能擁有高通 Snapdragon 845 的效能跟 6g ram 的記憶體,雖然連線、拍照以及作工都不如旗艦機種,卻能滿足特定族群對效能的需求。

未來小廠的手機要走差異化,在缺乏自製的 NPU 方案或是無法承擔昂貴處理器成本的困境下,剩下的選擇包含旗艦機改採用 Snapdragon 7 系列的處理器或是維持原有的 845 處理器,壓低旗艦機的售價跟成本,以性價比跟大廠競爭。

今年發表會看下來,有足夠的理由預估明年的手機價格即將大洗牌:旗艦手機將更加昂貴,中高階以下競爭會更加嚴峻。

雖然大廠在旗艦銷售上更具優勢,但是中階以下的產品銷售很可能會被小廠的高性價比產品侵蝕,這樣的結構性改變將使每一家智慧型手機品牌明年都需要面對更激烈的市場競爭。


Cookie 消失?試試看全新 AI 影像內容辨識:讓用戶看的內容決定看到的廣告

Google Chrome 即將淘汰幫助廣告主的工具—— Cookie ,它的離去將再一次地影響數位廣告產業。
評論
Photo Credit:<a href="https://www.shutterstock.com/zh/image-photo/ai-artificial-intelligence-big-data-internet-1075853384" target="_blank">shutterstock</a>
評論

透過GA分析進站者發現, Safari的新客數越來越多,難道這表示 iOS 的用戶數也跟著增加了嗎?注意了,這有可能是 Apple 封鎖第三方 Cookie 帶來的影響。隨著 Google 即將淘汰 Chrome 上的 Cookie ,這個幫助廣告主記住用戶受眾的小工具,將要再一次地影響數位廣告產業。

Photo Credit:驚點股份有限公司( FreakOut Taiwan )

後 Cookie 時代的廣告受眾如何鎖定?

各大廣告平台在過去幾年不斷地透過 Cookie 以及其它方式,悄悄收集使用者的用戶數據,隨著這幾年用戶的隱私權意識抬頭, Apple 與 Google 對於藉由 Cookie 辨識用戶資料的廣告投遞方式,持有不同的態度,這也將是所有廣告主的極大挑戰。當 Cookie 不復存在,要如何辨識使用者資料?

Cookie 消失了,或許會有新的數據辨識工具來取代,但是任何試圖跟蹤受眾的方式,都難以符合大眾對於保護隱私權的期望。另一方面,也極有可能無法再通過日趨嚴格的媒體監管限制。無論如何,數位廣告不能像過去一樣,無條件地使用類似 Cookie 的追蹤方式,來達到與現在同樣的廣告效果。

後 Cookie 時代內容辨識類型的廣告鎖定方式,將成為未來具指標性的投放策略。廣告與瀏覽平台或內文主題的高相關性,不僅能顯著提高受眾的互動度,更重要的是,完全不需要收集任何個人數據。

FreakOut Taiwan 不斷嘗試更友善的廣告投遞形式, 自 2016 年進入台灣市場的原生廣告,到 2020 年末引進「 Mirrors 」 AI 影像視覺內容辨識系統,都是以網路使用者的角度出發。「 Mirrors 」不需要使用傳統的受眾興趣設定,即可針對「目標受眾在觀看的影像內容」、「品牌自身競爭對手或相關指定系列產品出現的影片」來投遞 YouTube 上的影音廣告。

Photo Credit:驚點股份有限公司( FreakOut Taiwan )

AI 人工智慧影像技術突破,推動新一代內容辨識功能

傳統的內容比對廣告皆為自然語言處理 NLP 中心,基於「純文字」的比對來顯示相關廣告,如大家很熟悉的 Google AdSense 。但是,結合新興的 AI 演算和複雜的圖像辨識,已然能夠達到「影片」的內容偵測,透過增加多個比對層和基於自然語言處理 NLP 的基準定位,可深度學習並提供更精細的辨識洞察力。

舉例來說,若想要將汽車廣告投放給對汽車有興趣的人,我們要先從可能對汽車感興趣的受眾中開始推估,並且根據過去的經驗加入不同的興趣條件,最後針對素材更進一步地測試。透過 Mirrors ,我們可以讓廣告出現在有滿足特定條件的影片內,例如:在消費者觀看的影片中,出現汽車評測報告、自家品牌或競爭對手的 LOGO 、代言人等指定條件,再依照不同廣告主設定的預算判斷是否露出廣告。

藉由這樣的影像比對方式,可以更有效地根據消費者行為觸發廣告投遞條件,而不再是現行的用戶受眾數據。人的興趣是多樣且多變的,當對汽車有興趣的用戶在完成汽車的選購後,短期內將不會再瀏覽相關資訊,轉而瀏覽其他更具時效性的內容。透過消費者當下正在觀看的影片內容,取代消費者身上被貼上的數位標籤,將更貼近消費者本身的使用行為。

Photo Credit:驚點股份有限公司( FreakOut Taiwan )

Mirrors AI 影像辨識:用消費者看的內容決定廣告

2021 年台灣數位報告指出,台灣人在各網路內容服務中,最愛「網路影片」的比例高達 97.9%,遠超過 Vlog、串流音樂、網路廣播、Podcast 。

影音廣告早已是品牌經營的趨勢:根據 DMA 2019 年台灣數位廣告量統計報告指出,台灣各類型廣告中,影音廣告以 37.2% 的成長比例大幅領先奪冠。其中 YouTube 持續蟬聯台灣最常被造訪網站第 2 名(僅次於 Google ) ,在台灣各大影音平台中的觸及率及影響力不容小覷。

2021 年 FreakOut Taiwan 已與客戶合作,進行搭載新系統的 YouTube 串流內廣告投遞,在針對品牌及產品客製化的多層鎖定策略建議下,房地產廣告的 CTR 表現高於平均,並發現「人臉」群組辨識表現為佳,其中多為財經、名嘴等名人。而美妝品牌廣告 VTR 表現優異,則以品牌「 Logo 」、「人臉」群組有最出色的表現。

本文章內容由「驚點股份有限公司( FreakOut Taiwan )」提供,經關鍵評論網媒體集團廣編企劃編審。