軟體相機時代來臨!Google Pixel 工程師來台揭秘相機技術

智慧型手機越來越貴的魔咒在 Pixel 3a 發表被打破,不過,被視為 Pixel 3 精簡版的 3a 系列在拍照功能上卻沒有因此打折,背後得從 Pixel 系列相機軟硬體設計整合談起!
評論
Google 工程師 Marc Levoy
評論

每年在 Google I/O 上備受矚目的莫過於親兒子 Pixel 系列智慧型手機,今年更是透過簡化硬體及外觀降低成本,推出中階價位的 Pixel 3a 與 3a XL,分別為新台幣 14,500 元起與 17,100 元,研發主要由 Google 台灣團隊完成,台灣也在本次成為首賣國家,智慧型手機越來越貴的魔咒也在本次發表會被打破,不過,被視為 Pixel 3 精簡版的 3a 系列在拍照功能上卻沒有因此打折。

一直受到關注的 Pixel 拍照功能包含,夜視模式、肖像模式和 HDR+ 等,如何憑藉單一鏡頭就傲視雙鏡頭、三鏡頭的競品,在 DxOMark 相機評比創下新高,甚至在降價後的版本都能保有相機的強大功能,讓人不妨有種買了相機附贈手機的錯覺,今日,Google 特別邀請到 Google Pixel  的工程師 Marc Levoy 來向大家解析一番。

相機 App 必備要素:執行迅速 預設可靠

Marc Levoy 首先幫大家釐清,在相機 App 上需要哪些條件,首先,在即時速度的要求,即時觀看器資訊需要高於 15 fps ,快門延遲需要低於 150 毫秒 ,成像時間需低於 5 秒內,需要有可靠的預設模式,包含曝光、對焦和白平衡,在特殊模式下可接受偶發的失敗。

揭秘一:HDR+ 的突破  

接著 Marc Levoy 分別從 HDR+、肖像模式、高解析變焦和夜視模式進行說明,與過去相機透過包圍曝光捕捉不同曝光影像,再加以疊合實現高光清晰的影像,此技術易受到晃動無法實現 HDR 影像。

在 Google Pixel 上的 HDR+ 是捕捉曝光不足下的連拍影像,也就是透過捕捉在相同曝光程度下的連拍影像,並且避免亮處過度曝光,因為影像相似因此更容易校準,再透過 SNR (Signal-to-noise ratio,信號雜訊比) 成功減少陰影與雜訊,並透過色調映射( Tonemap )強化陰影、降低亮處,雖然會因此無法完整呈現整體色調與對比,但卻是保留局部對比。

一般相機透過包圍曝光實現 HDR技術

揭秘二:單鏡頭背後的人像

接下來就是長期備受關注的話題:單鏡頭實現景深模式-清楚的人像和和諧的散景,比起雙鏡頭以硬體為技術基礎實現的景深,Marc Levoy 解釋目前大多數廠商使用的合成景深技術,如何雙鏡頭捕捉相似焦點兩個影像,透過立體匹配演算法,選擇保留銳利的基準,讓背景模糊。

Pixel 手機單鏡頭加上機器學習完成影像,首先,利用機器學習技術分割影像中的人物:運用卷積神經網路 (Convolutional Neural Network, CNN) 預估圖像中每一個像素的人物,卷積神經網路,背後資料來自超過100萬張標籤過的人物和配件的機器學習模型訓練。

同時,透過數學計算中的邊緣感知雙邊求解器(Edge-aware Bilateral Solver)進行細化,讓人物分割的邊緣更加銳利。

再者,就是運用相機中的硬體技術「雙像素 (Dual pixels)」預估深度圖 (Depth Map),雖然機器學習能夠透過單鏡頭完成人像模式,但是受到背後為人像資料的模型,對於非人像就成為阻礙,Pixel 在此就是透過硬體技術解決。

透過雙像素 (Dual-pixels), 將單一像素上的影像分為兩部分,每個像素的右半部通過左半部鏡頭看世界,反之左半部則通過右半部鏡頭看世界,在這樣的分離下會得到兩種具些微差異的成像,鏡頭就能透過非常小的基線 (Baseline) (約1mm) 讓影像立體化。

根據人物與背景的距離按比例
模糊化,將人物所在位置前後一段距離的影像也保持銳利,以讓人物影像能清楚呈現。

此外,Pixel 手機相機透過將焦點擴展讓攝影新手也能而言較容易拍攝出具有景深的人物肖像。

Pixel手機相機則是將焦點擴展,對於攝影初學者而言較容易拍攝出
具有景深的人物肖像

揭秘三:Super Res Zoom 沒用上AI 卻也能媲美 2x 光學變焦手機

第三個,Marc Levoy 解釋到 Super Res Zoom,這項高解析變焦功能可以說是幾項拍照功能中最難理解的一個,雖然此功能背後並無搭載人工智慧及機器學習技術,將多層影像合成為更高像素的照片,不僅提升照片細節的呈現之外,解析度與許多搭載2x光學變焦鏡頭的智慧型手機不相上下。

在一般的相機中,透過一種叫做去馬賽克(Demosaicing)的過程,從部分顏色資訊中重建遺失的資訊,相機感測器元件只用於測量光的強度,而不是直接測量光的顏色。為了捕捉場景中呈現的真實顏色,鏡頭使用放置在感測器前面的顏色濾鏡陣列,以便每個畫素只測量一種顏色(紅色、綠色或藍色)。

Marc Levoy 解釋像素移位原理

而在 Pixel 上相機同時拍攝了4幀畫面,三幀分別於水平、垂直,還有水平與垂直同時位移一個像素,組合此 4 幀畫面後能填補原先缺失的像素都,不必再執行去馬賽克。

若是在不震動的固定環境,仍然可以強制開啟光學影像穩定功能 (Optical Image Stabilization),製造鏡頭「搖晃」來模擬手震達到想要的拍攝效果。

揭秘四:吊打 iPhone XS 的低光攝影

最後則是 Google 一直自豪吊打 iPhone XS 的低光攝影,夜視模式技術保有真實的色彩是一大挑戰,Google 透過學習式白平衡 (Learning-based White Balancing) 調整影像色調藉由計算攝影的自動調整保持景物最真實的色調。

Marc Levoy 也分享他們從古典畫作得到的靈感,包含:強化對比度、將陰影投射成黑色 用黑暗環繞場景,藉由計算攝影進行色調映射 (Tone Mapping)讓影像保有原色。

事實上,這些技術先前 Google AI 團隊屢次都有在部落格上進行分享,今天更像是一場 Pixel 相機軟硬整合的小教室,少了 Pixel 2 系列開始採用的 VPU 視覺運算元件 Pixel Visual Core,仍然藉由機器學習巧用於硬體上,除了處理速度以外,不論是 AI 模型相機鏡頭一樣,都可以實現這些強大的拍照功能。

透過軟體來補足硬體上的功能,不免讓人有種,未來的相機是否會越來越依賴軟體,不過比起此說法,Google 更強調軟硬整合的重要,從上述的案例中也看到 Pixel 並非全依靠AI 來實現相機,背後更多的著墨是在軟硬體設計上的優化。

Marc Levoy 說自己最喜歡在每天早上打開 instagram上看著用戶分享自己使用 Pixel 拍攝的照片,一張張專業級的影像作品,是透過一支單鏡頭手機完成的確是過去無法想像的,隨著相機的升級,大家不需要太昂貴的成本都能更容易拍出好照片,看完這麼多背後技術的解析是否讓你更有感覺了?

在會後,編輯也拿起了最新的Pixel 3a 與 3a XL 雖然在外殼不是玻璃而是聚碳酸酯,但是觸感上和Pixel 3 極為相似。

延伸閱讀:



疫情升溫!台灣各行各業加速數位化,機動應變與全民齊心抗疫

評論
Photo Credit: 新聞資料
評論

國內本土確診病例接連創下新高,全台防疫警戒更進入第三級,自疫情蔓延後,台灣面臨到前所未有的防疫挑戰。回想 2020 年疫情剛爆發時,便引起不少民眾恐慌,各行各業紛紛提出應對措施,避免人群接觸的同時,也帶動了數位轉型興起,而台灣各行業又如何在此次疫情升溫之際,加速線上化及機動應對,成為民眾在非常時期的防疫助力?

疫情猛爆嚇壞人!線上化、數位化服務維持民眾日常

身為防疫模範生的台灣,第一次進入前所未有的防疫警戒階段,去年在國外疫情險峻之時,許多企業和商家紛紛提出了防疫措施,如全球電商巨擘 Amazon 對員工制定嚴格的社交距離規範,並利用 AI 技術監督每個員工間的距離;在消費者端也減少原訂檔期的行銷操作,確保消費者能夠專注於購買民生用品、維持生活需求。

至於國內業者,為了鼓勵民眾待在家,連鎖餐飲業者貳樓餐廳也推出了網路預訂外帶自取五折的優惠;銀行業如華南銀行也推出「宅金融」服務,包括線上貸款、線上智能理財,減少民眾出門的風險。針對生活必需品,電商提供的零接觸服務更成為防疫的一大助力,但當疫情來得又快又急,如何應對才能及時提供民眾所需、成為民眾在疫情間的後盾?

疫情攪亂計劃,品牌滾動式調整與民眾共同防疫

突如其來的疫情對許多品牌造成影響,在電商上的滾動式調整更是頻繁,往年 6 月是電商大檔,中國大陸的 618 購物節正如火如荼地開打,大陸電商龍頭如京東、阿里巴巴、小米線上平台自 5 月 24 日起便摩拳擦掌進行各種狂歡行銷,台灣如蝦皮、MOMO、松果購物等等也持續 618 大檔。而台灣目前處在疫情中,也還是有觀察到許多品牌化危機為轉機,調整了預定的檔期,如 PChome 24h購物機動性將向來最重要的品牌週年慶,直接轉型為「生日不過,疫情快過」,同時致敬這段時間最辛苦的第一線醫護人員、消防、警察及物流人員等,將生日祝福轉為一起祈福,堅持全台配送,不分區不間斷,與大家站在一起守護台灣,祈禱疫情盡快過去,台灣能夠恢復日常的生活。在這個時刻,品牌最重視同島一命,堅持與大家一起度過難關。

目前正值618購物節之電商大檔期。/Photo Credit: 新聞資料
PChome 24h購物因應疫情,將籌備已久的生日週年慶轉型,左圖為品牌原定活動主題已經陳設在阪急看板,右圖為滾動調整後,與民眾一起祈禱疫情快過。/Photo Credit: 新聞資料

此外,在社群平台上也可以看到大家紛紛利用自媒體的流量,即時同步政府訊息,分享疫情指揮中心最新的防疫措施,如立法委員蔣萬安、江啟臣、孫大千、洪孟楷等人,除了盡政治人物職責在臉書提供民眾第一手疫情政策措施及防疫相關資訊外,也發揮社群影響力進行串聯,呼籲大家在家別亂跑。電商平台也在臉書社群提供民眾最新的疫情發展,並針對疫區民眾主動發送安心簡訊,並以 email 通知到貨時間,讓民眾知道商品供應無虞,不必恐慌搶購物資。

透過社群影響力,可有效提醒民眾居家防疫及快速傳遞資訊。/Photo Credit: 新聞資料

跟隨政府動態提供「階段式購物」,買得到之餘也要安全送達

隨著政府公告,因應疫情不斷升級,許多行業也進行了階段式的調整。如多家餐廳先推出外帶折扣或在戶外推出外帶專區,第二階段則是推出便當或套餐組合搶攻外帶市場,再來則是加入外送行列,甚至是推出宅配料理包,讓民眾不出門也能享受美味,配合消費者需求提供階段式服務。

電商也洞察消費者需求,優先提供民眾防護用品,如口罩、酒精等清潔消毒用品;第二階段則是生活必需品,如泡麵、衛生紙、即食料理等;第三階段是當居家辦公、分流措施啟動後所需要的辦公用品及筆電等,尤其是開始停課之後,小孩居家學習也不能中斷,因此線上學習的用品也不能少;而隨著休閒育樂場所的關閉,第四階段推出運動健身用品鼓勵大家在家運動;第五階段則是因應部分地區開始停班停課,也推出在家娛樂用品,解決民眾因長期居家而產生的憂鬱感。

許多餐廳因應疫情,進行階段式調整。/Photo Credit: 新聞資料
電商也規劃階段式購物以滿足消費者所需。/Photo Credit: 新聞資料

疫情期間為遵守防疫政策,民眾開始減少外出,生活物資採購需求迅速轉為線上購買,大量民生用品採購紛紛改用電商及美食平台一次滿足,外送平台也因此積極找尋更多合作夥伴,如台鐵便當、IKEA 等。過往只有實體販賣的品牌都開始與外送平台合作,讓消費者一站購足;甚至連計程車業台灣大車隊也開始轉型投入餐飲外送行列;許多餐飲大品牌也加速數位化,如王品、饗食天堂;百貨也因禁止內用改為外帶外送,如全台遠百在一樓戶外設立「速立便」供消費者外帶及取貨,及線上「Stay Home」商品專區,業績也因此有顯著成長。而電商及外送平台作為防疫時期生活物資的後盾,也採取對應安全應變措施,像 PChome 24h購物除落實無接觸防疫政策外,也為員工增加購買「防疫保險」,費用由公司全額負擔,保障員工也保障消費者安全;無獨有偶,美食外送平台也呼籲消費者使用刷卡取代付現,為的都是確保在至關重要的最後一哩路上,給予消費者全方位、安全無虞的防疫保障。

外送、物流業者送貨不上樓,最後一哩路保障員工及消費者的安全。/Photo Credit: 新聞資料

疫情加速全台數位化轉型 齊心度過艱難時刻! 

因應全台停課,教育部主動開啟許多線上資源,提供數位雲端化的線上課程及線上作業,讓學生停課不停學,在家也能線上學習。一直以來推行在線遊戲學習平台的 PaGameO 也與慈濟合作推行防疫線上學習,利用線上電競遊戲的概念進行環保教育,打造環境教育與防疫意識,趁著疫情推廣數位化學習。許多健身房及私人教練也推出線上訓練課程,鼓勵在家的民眾更多運動的選擇,幫助提升免疫力,還能講降低情緒低落感。

攤開確診者足跡一看,傳統市場、生鮮超市都成為群聚熱點,擁有生鮮供貨的電商平台在疫情期間成為至關重要的防疫主力,透過線上購物可以減少人際接觸,安心防疫準備日常生活物資。實體超市也開始與外送平台合作推出生鮮專區,降低群聚採買風險。另一方面,各縣市鄉鎮的農會也在此時推出蔬菜箱、漁產箱、肉品箱等生鮮宅配,讓大家可以安心在家逛市場,透過線上網購滿足,台灣規模最大的農產運銷公司北農也推出各種蔬菜箱,滿足不同需求的家庭和消費者。

業者推出蔬菜箱,透過線上訂購滿足民眾需求。圖片來源:/Photo Credit:新聞資料

去年因為台灣防疫有成,大家都在擔心是否錯過了全球數位化轉型的浪潮,但是在這次疫情升溫的險峻時刻,我們也看到台灣在數位化、線上化帶來很大的改變,人民能夠維持日常生活,各行各業都扮演著至關重要的角色,相信在需要更多正能量的此時,我們能夠持續給予彼此協助、堅持下去。

本文章內容由「戰國策傳播集團」提供,經關鍵評論網媒體集團廣編企劃編審。