軟體相機時代來臨!Google Pixel 工程師來台揭秘相機技術

智慧型手機越來越貴的魔咒在 Pixel 3a 發表被打破,不過,被視為 Pixel 3 精簡版的 3a 系列在拍照功能上卻沒有因此打折,背後得從 Pixel 系列相機軟硬體設計整合談起!
評論
Google 工程師 Marc Levoy
評論

每年在 Google I/O 上備受矚目的莫過於親兒子 Pixel 系列智慧型手機,今年更是透過簡化硬體及外觀降低成本,推出中階價位的 Pixel 3a 與 3a XL,分別為新台幣 14,500 元起與 17,100 元,研發主要由 Google 台灣團隊完成,台灣也在本次成為首賣國家,智慧型手機越來越貴的魔咒也在本次發表會被打破,不過,被視為 Pixel 3 精簡版的 3a 系列在拍照功能上卻沒有因此打折。

一直受到關注的 Pixel 拍照功能包含,夜視模式、肖像模式和 HDR+ 等,如何憑藉單一鏡頭就傲視雙鏡頭、三鏡頭的競品,在 DxOMark 相機評比創下新高,甚至在降價後的版本都能保有相機的強大功能,讓人不妨有種買了相機附贈手機的錯覺,今日,Google 特別邀請到 Google Pixel  的工程師 Marc Levoy 來向大家解析一番。

相機 App 必備要素:執行迅速 預設可靠

Marc Levoy 首先幫大家釐清,在相機 App 上需要哪些條件,首先,在即時速度的要求,即時觀看器資訊需要高於 15 fps ,快門延遲需要低於 150 毫秒 ,成像時間需低於 5 秒內,需要有可靠的預設模式,包含曝光、對焦和白平衡,在特殊模式下可接受偶發的失敗。

揭秘一:HDR+ 的突破  

接著 Marc Levoy 分別從 HDR+、肖像模式、高解析變焦和夜視模式進行說明,與過去相機透過包圍曝光捕捉不同曝光影像,再加以疊合實現高光清晰的影像,此技術易受到晃動無法實現 HDR 影像。

在 Google Pixel 上的 HDR+ 是捕捉曝光不足下的連拍影像,也就是透過捕捉在相同曝光程度下的連拍影像,並且避免亮處過度曝光,因為影像相似因此更容易校準,再透過 SNR (Signal-to-noise ratio,信號雜訊比) 成功減少陰影與雜訊,並透過色調映射( Tonemap )強化陰影、降低亮處,雖然會因此無法完整呈現整體色調與對比,但卻是保留局部對比。

一般相機透過包圍曝光實現 HDR技術

揭秘二:單鏡頭背後的人像

接下來就是長期備受關注的話題:單鏡頭實現景深模式-清楚的人像和和諧的散景,比起雙鏡頭以硬體為技術基礎實現的景深,Marc Levoy 解釋目前大多數廠商使用的合成景深技術,如何雙鏡頭捕捉相似焦點兩個影像,透過立體匹配演算法,選擇保留銳利的基準,讓背景模糊。

Pixel 手機單鏡頭加上機器學習完成影像,首先,利用機器學習技術分割影像中的人物:運用卷積神經網路 (Convolutional Neural Network, CNN) 預估圖像中每一個像素的人物,卷積神經網路,背後資料來自超過100萬張標籤過的人物和配件的機器學習模型訓練。

同時,透過數學計算中的邊緣感知雙邊求解器(Edge-aware Bilateral Solver)進行細化,讓人物分割的邊緣更加銳利。

再者,就是運用相機中的硬體技術「雙像素 (Dual pixels)」預估深度圖 (Depth Map),雖然機器學習能夠透過單鏡頭完成人像模式,但是受到背後為人像資料的模型,對於非人像就成為阻礙,Pixel 在此就是透過硬體技術解決。

透過雙像素 (Dual-pixels), 將單一像素上的影像分為兩部分,每個像素的右半部通過左半部鏡頭看世界,反之左半部則通過右半部鏡頭看世界,在這樣的分離下會得到兩種具些微差異的成像,鏡頭就能透過非常小的基線 (Baseline) (約1mm) 讓影像立體化。

根據人物與背景的距離按比例
模糊化,將人物所在位置前後一段距離的影像也保持銳利,以讓人物影像能清楚呈現。

此外,Pixel 手機相機透過將焦點擴展讓攝影新手也能而言較容易拍攝出具有景深的人物肖像。

Pixel手機相機則是將焦點擴展,對於攝影初學者而言較容易拍攝出
具有景深的人物肖像

揭秘三:Super Res Zoom 沒用上AI 卻也能媲美 2x 光學變焦手機

第三個,Marc Levoy 解釋到 Super Res Zoom,這項高解析變焦功能可以說是幾項拍照功能中最難理解的一個,雖然此功能背後並無搭載人工智慧及機器學習技術,將多層影像合成為更高像素的照片,不僅提升照片細節的呈現之外,解析度與許多搭載2x光學變焦鏡頭的智慧型手機不相上下。

在一般的相機中,透過一種叫做去馬賽克(Demosaicing)的過程,從部分顏色資訊中重建遺失的資訊,相機感測器元件只用於測量光的強度,而不是直接測量光的顏色。為了捕捉場景中呈現的真實顏色,鏡頭使用放置在感測器前面的顏色濾鏡陣列,以便每個畫素只測量一種顏色(紅色、綠色或藍色)。

Marc Levoy 解釋像素移位原理

而在 Pixel 上相機同時拍攝了4幀畫面,三幀分別於水平、垂直,還有水平與垂直同時位移一個像素,組合此 4 幀畫面後能填補原先缺失的像素都,不必再執行去馬賽克。

若是在不震動的固定環境,仍然可以強制開啟光學影像穩定功能 (Optical Image Stabilization),製造鏡頭「搖晃」來模擬手震達到想要的拍攝效果。

揭秘四:吊打 iPhone XS 的低光攝影

最後則是 Google 一直自豪吊打 iPhone XS 的低光攝影,夜視模式技術保有真實的色彩是一大挑戰,Google 透過學習式白平衡 (Learning-based White Balancing) 調整影像色調藉由計算攝影的自動調整保持景物最真實的色調。

Marc Levoy 也分享他們從古典畫作得到的靈感,包含:強化對比度、將陰影投射成黑色 用黑暗環繞場景,藉由計算攝影進行色調映射 (Tone Mapping)讓影像保有原色。

事實上,這些技術先前 Google AI 團隊屢次都有在部落格上進行分享,今天更像是一場 Pixel 相機軟硬整合的小教室,少了 Pixel 2 系列開始採用的 VPU 視覺運算元件 Pixel Visual Core,仍然藉由機器學習巧用於硬體上,除了處理速度以外,不論是 AI 模型相機鏡頭一樣,都可以實現這些強大的拍照功能。

透過軟體來補足硬體上的功能,不免讓人有種,未來的相機是否會越來越依賴軟體,不過比起此說法,Google 更強調軟硬整合的重要,從上述的案例中也看到 Pixel 並非全依靠AI 來實現相機,背後更多的著墨是在軟硬體設計上的優化。

Marc Levoy 說自己最喜歡在每天早上打開 instagram上看著用戶分享自己使用 Pixel 拍攝的照片,一張張專業級的影像作品,是透過一支單鏡頭手機完成的確是過去無法想像的,隨著相機的升級,大家不需要太昂貴的成本都能更容易拍出好照片,看完這麼多背後技術的解析是否讓你更有感覺了?

在會後,編輯也拿起了最新的Pixel 3a 與 3a XL 雖然在外殼不是玻璃而是聚碳酸酯,但是觸感上和Pixel 3 極為相似。

延伸閱讀:



【 MarTech Asia 】數位轉型突圍!萬里雲推出機器人寫文案服務,以 AI 加速行銷流程

CloudMile 萬里雲旗下 Martech 產品── ADsvantage (廣告智庫)全新 2.0 功能上線,採用非營利人工智慧組織 —— OpenAI 強大的文章產成器 「 GPT 系列」為基礎,推出全新 AI 智慧寫手功能。
評論
Photo Credit:CloudMile
評論

 CloudMile  萬里雲旗下 Martech 產品── ADsvantage(廣告智庫)全新 2.0 功能上線,採用非營利人工智慧組織 —— OpenAI  強大的文章產成器「 GPT 系列」為基礎,推出全新 AI 智慧寫手功能。隨著行銷碎片化時代來臨,消費者的用戶輪廓越來越難拼湊,從獲取資料、數據分析,到廣告文案創作的最後一哩路,行銷人員必須借助更多工具幫忙,奪回行銷效益的掌握度。 ADsvantage 提供台灣中小企業行銷人員、廣告主及電商業者自助管理的廣告平台,大幅縮短廣告行銷人員作業時間。

 ADsvantage 推出新功能,受邀 2021 MarTech Asia 分享 AI 化數據行銷

日前全台最大的行銷科技盛會 2021 MarTech Asia ,阿物科技創辦人暨執行長林思吾號召 26 位業界領袖同台 ,現場及線上共有超過 1,800 位全球及台灣相關業者齊聚一堂,包括行銷科技之父 Scott Brinker、前 Verizon Media 國際事業董事總經理鄒開蓮、全聯實業副董事長謝健南等人,分享行銷科技的重要趨勢及後疫情時代的新生態。 CloudMile 萬里雲營運長高斌恒也受邀分享,各個科技巨頭都紛紛有許多針對隱私權的規範和措施,消費者的線上線下界線越來越模糊。 當今行銷人所面對的難題不只是 SEO、投放優化而已,「數據」才是致勝關鍵,透過將許多流程自動化,省下時間與人力成本的情況下,達到更高的行銷目標,其中包括 Cookieless 時代來臨、深化 OMO 無縫體驗、打造顧客數據平台( Customer Data Platform , CDP )等議題都受到業界高度關注。

豐富跨國實戰經驗的 CloudMile 機器學習團隊,運用超過 500 萬的文案數據庫、橫跨 20 種產業以上的廣告量,結合廣告代理商 20 年以上行銷經驗,創造 ADsvantage 「 AI 智慧寫手」 新功能。 CloudMile 看見客戶對於數位轉型及運用 MarTech 行銷科技推廣商品的急迫需求,希望可運用 AI 技術之力,縮短廣告前期企劃、發想關鍵字詞、寫文案和廣告投放設定,同時還需跨組溝通,尋找資源協助的時程, ADsvantage 廣告智庫即是專為滿足客戶後疫行銷需求的一站式廣告營運平台解決方案。

人工智慧寫手結合電商平台, 加速行銷流程的最佳 AI 助理

 ADsvantage 全新 2.0 功能上線,採用 GPT 模型,為矽谷時下最夯的自然語言處理模型,推出全新 AI 智慧寫手功能,透過平台能協助客戶透過數據匯流、 AI 分析達到預測的成效,快速蒐集最熱門的關鍵字、文案內容,加速創意的過程並提升廣告效率。

此全新產品適合應用在電商等大型網購平台上,透過機器學習與 AI 科技應用,讓中間產製時間被大幅被縮短,並提升操作數位行銷的「效率」與「精準度」,像是電商平台即可透過採用 ADsvantage 的服務,有效提升自己在數位行銷上的競爭力。

Photo Credit:CloudMile
ADsvantage 全新 2.0 功能上線,推出 AI 華語文案生成工具「AI 智慧寫手」。/Photo Credit:CloudMile

 ADsvantage 產品介紹

運用 AI 科技力助企業數位轉型的 CloudMile 萬里雲,發表關鍵字數位廣告輿情系統 ADsvantage(廣告智庫),提供企業廣告主及電商平台,透過超過百萬的文案創意庫( Ads  idea ) 、 AI 智慧監控工具及 AI 智慧寫手,平均只要 3 秒即可生成一個廣告文案。 CloudMile 透過 Google 雲端、機器學習與 AI 大數據分析技術,致力協助企業落實數位轉型。疫情期間抓住需求開發的 ADsvantage ( 廣告智庫) 服務,透過服務台灣、新加坡、及香港逾 400 家客戶的專業經驗,將傳統的商業廣告運營模式數據化,提供企業廣告主一站式 Google Ads 廣告文案創作 AI 化平台。

本文章內容由「阿物科技」提供,經關鍵評論網媒體集團廣編企劃編審。