軟體相機時代來臨!Google Pixel 工程師來台揭秘相機技術

智慧型手機越來越貴的魔咒在 Pixel 3a 發表被打破,不過,被視為 Pixel 3 精簡版的 3a 系列在拍照功能上卻沒有因此打折,背後得從 Pixel 系列相機軟硬體設計整合談起!
評論
Google 工程師 Marc Levoy
評論

每年在 Google I/O 上備受矚目的莫過於親兒子 Pixel 系列智慧型手機,今年更是透過簡化硬體及外觀降低成本,推出中階價位的 Pixel 3a 與 3a XL,分別為新台幣 14,500 元起與 17,100 元,研發主要由 Google 台灣團隊完成,台灣也在本次成為首賣國家,智慧型手機越來越貴的魔咒也在本次發表會被打破,不過,被視為 Pixel 3 精簡版的 3a 系列在拍照功能上卻沒有因此打折。

一直受到關注的 Pixel 拍照功能包含,夜視模式、肖像模式和 HDR+ 等,如何憑藉單一鏡頭就傲視雙鏡頭、三鏡頭的競品,在 DxOMark 相機評比創下新高,甚至在降價後的版本都能保有相機的強大功能,讓人不妨有種買了相機附贈手機的錯覺,今日,Google 特別邀請到 Google Pixel  的工程師 Marc Levoy 來向大家解析一番。

相機 App 必備要素:執行迅速 預設可靠

Marc Levoy 首先幫大家釐清,在相機 App 上需要哪些條件,首先,在即時速度的要求,即時觀看器資訊需要高於 15 fps ,快門延遲需要低於 150 毫秒 ,成像時間需低於 5 秒內,需要有可靠的預設模式,包含曝光、對焦和白平衡,在特殊模式下可接受偶發的失敗。

揭秘一:HDR+ 的突破  

接著 Marc Levoy 分別從 HDR+、肖像模式、高解析變焦和夜視模式進行說明,與過去相機透過包圍曝光捕捉不同曝光影像,再加以疊合實現高光清晰的影像,此技術易受到晃動無法實現 HDR 影像。

在 Google Pixel 上的 HDR+ 是捕捉曝光不足下的連拍影像,也就是透過捕捉在相同曝光程度下的連拍影像,並且避免亮處過度曝光,因為影像相似因此更容易校準,再透過 SNR (Signal-to-noise ratio,信號雜訊比) 成功減少陰影與雜訊,並透過色調映射( Tonemap )強化陰影、降低亮處,雖然會因此無法完整呈現整體色調與對比,但卻是保留局部對比。

一般相機透過包圍曝光實現 HDR技術

揭秘二:單鏡頭背後的人像

接下來就是長期備受關注的話題:單鏡頭實現景深模式-清楚的人像和和諧的散景,比起雙鏡頭以硬體為技術基礎實現的景深,Marc Levoy 解釋目前大多數廠商使用的合成景深技術,如何雙鏡頭捕捉相似焦點兩個影像,透過立體匹配演算法,選擇保留銳利的基準,讓背景模糊。

Pixel 手機單鏡頭加上機器學習完成影像,首先,利用機器學習技術分割影像中的人物:運用卷積神經網路 (Convolutional Neural Network, CNN) 預估圖像中每一個像素的人物,卷積神經網路,背後資料來自超過100萬張標籤過的人物和配件的機器學習模型訓練。

同時,透過數學計算中的邊緣感知雙邊求解器(Edge-aware Bilateral Solver)進行細化,讓人物分割的邊緣更加銳利。

再者,就是運用相機中的硬體技術「雙像素 (Dual pixels)」預估深度圖 (Depth Map),雖然機器學習能夠透過單鏡頭完成人像模式,但是受到背後為人像資料的模型,對於非人像就成為阻礙,Pixel 在此就是透過硬體技術解決。

透過雙像素 (Dual-pixels), 將單一像素上的影像分為兩部分,每個像素的右半部通過左半部鏡頭看世界,反之左半部則通過右半部鏡頭看世界,在這樣的分離下會得到兩種具些微差異的成像,鏡頭就能透過非常小的基線 (Baseline) (約1mm) 讓影像立體化。

根據人物與背景的距離按比例
模糊化,將人物所在位置前後一段距離的影像也保持銳利,以讓人物影像能清楚呈現。

此外,Pixel 手機相機透過將焦點擴展讓攝影新手也能而言較容易拍攝出具有景深的人物肖像。

Pixel手機相機則是將焦點擴展,對於攝影初學者而言較容易拍攝出
具有景深的人物肖像

揭秘三:Super Res Zoom 沒用上AI 卻也能媲美 2x 光學變焦手機

第三個,Marc Levoy 解釋到 Super Res Zoom,這項高解析變焦功能可以說是幾項拍照功能中最難理解的一個,雖然此功能背後並無搭載人工智慧及機器學習技術,將多層影像合成為更高像素的照片,不僅提升照片細節的呈現之外,解析度與許多搭載2x光學變焦鏡頭的智慧型手機不相上下。

在一般的相機中,透過一種叫做去馬賽克(Demosaicing)的過程,從部分顏色資訊中重建遺失的資訊,相機感測器元件只用於測量光的強度,而不是直接測量光的顏色。為了捕捉場景中呈現的真實顏色,鏡頭使用放置在感測器前面的顏色濾鏡陣列,以便每個畫素只測量一種顏色(紅色、綠色或藍色)。

Marc Levoy 解釋像素移位原理

而在 Pixel 上相機同時拍攝了4幀畫面,三幀分別於水平、垂直,還有水平與垂直同時位移一個像素,組合此 4 幀畫面後能填補原先缺失的像素都,不必再執行去馬賽克。

若是在不震動的固定環境,仍然可以強制開啟光學影像穩定功能 (Optical Image Stabilization),製造鏡頭「搖晃」來模擬手震達到想要的拍攝效果。

揭秘四:吊打 iPhone XS 的低光攝影

最後則是 Google 一直自豪吊打 iPhone XS 的低光攝影,夜視模式技術保有真實的色彩是一大挑戰,Google 透過學習式白平衡 (Learning-based White Balancing) 調整影像色調藉由計算攝影的自動調整保持景物最真實的色調。

Marc Levoy 也分享他們從古典畫作得到的靈感,包含:強化對比度、將陰影投射成黑色 用黑暗環繞場景,藉由計算攝影進行色調映射 (Tone Mapping)讓影像保有原色。

事實上,這些技術先前 Google AI 團隊屢次都有在部落格上進行分享,今天更像是一場 Pixel 相機軟硬整合的小教室,少了 Pixel 2 系列開始採用的 VPU 視覺運算元件 Pixel Visual Core,仍然藉由機器學習巧用於硬體上,除了處理速度以外,不論是 AI 模型相機鏡頭一樣,都可以實現這些強大的拍照功能。

透過軟體來補足硬體上的功能,不免讓人有種,未來的相機是否會越來越依賴軟體,不過比起此說法,Google 更強調軟硬整合的重要,從上述的案例中也看到 Pixel 並非全依靠AI 來實現相機,背後更多的著墨是在軟硬體設計上的優化。

Marc Levoy 說自己最喜歡在每天早上打開 instagram上看著用戶分享自己使用 Pixel 拍攝的照片,一張張專業級的影像作品,是透過一支單鏡頭手機完成的確是過去無法想像的,隨著相機的升級,大家不需要太昂貴的成本都能更容易拍出好照片,看完這麼多背後技術的解析是否讓你更有感覺了?

在會後,編輯也拿起了最新的Pixel 3a 與 3a XL 雖然在外殼不是玻璃而是聚碳酸酯,但是觸感上和Pixel 3 極為相似。

延伸閱讀:



總價值一千萬獎項!「挖貝提案者大賽」提供完整顧問與行銷資源,目標助 40 組提案團隊圓夢

第一屆「挖貝提案者大賽」,不僅祭出總價值高達一千萬的豐厚獎項,更運用貝殼放大過往協助無數破千萬集資專案的強大專業優勢,提供獲選提案團隊完整顧問與行銷資源,力求讓好提案能在台灣遍地開花。
評論
Photo Credit:貝殼放大
評論

群眾集資產業在台灣邁向第 10 年,產業又有新變革!由台灣最大群眾集資顧問公司「貝殼放大」成立的「挖貝 WaBay」群眾集資平台於 1 月 14 日正式宣布,舉辦第一屆「挖貝提案者大賽」,不僅祭出總價值高達一千萬的豐厚獎項,更運用貝殼放大過往協助無數破千萬集資專案的強大專業優勢,提供最多 40 組獲選提案團隊完整顧問與行銷資源,力求讓好提案能在台灣遍地開花。

徵件對象包含原創產品、社會參與、文化內容等各類型提案,並於即日起至 3 月 31 日開放報名,首獎可獲得挖貝 WaBay 提供價值 300 萬元的專案推廣、行銷、顧問資源,而且只要入選決賽便可擁有價值 10 萬元的行銷資源挹注!歡迎所有符合資格的提案團隊報名參賽

從根本改善產業,提供完整顧問資源、提升群眾集資原創動能

「挖貝 WaBay」群眾集資平台於 2021 年 4 月正式成立,由於看見群眾集資原創性日益降低,以及層出不窮的爭議事件,漸漸讓大眾對產業失去信心,因此挖貝秉持群眾集資「信任」與「責任」原則,鼓勵「原創」和「社會倡議」類型專案,致力和提案團隊與贊助者共創良好的集資環境,希望重建群眾集資產業最美好的的初始信念,成為原創、文化及社會參與團隊最青睞的平台。

適逢整體群眾集資產業在台灣邁向第 10 年里程碑,也是挖貝平台在成立將滿一週年之際,特別舉辦「挖貝提案者大賽」,以史上最豐厚、總價值高達一千萬的獎項,鼓勵全台與挖貝一樣懷抱著美好理想的團隊,將心中的原創提案實現成真,讓社會產生正向改變,並帶動群眾集資產業正向發展。

總獎項價值千萬!首獎獨得 300 萬、入選決賽即獲 10 萬行銷資源

「挖貝提案者大賽」共分為三個組別,包含「原創產品」(具備全新概念的生活原創設計品、3C 科技、活動等)、「社會參與」(具有社會公益價值,例如:社會議題倡議、空間再造、教育、在地等)、「文化內容」(影視娛樂、藝文出版、遊戲等),期望凸顯提案團隊本身的原創性以及對社會文化的關注與理念實踐,初賽不限報名組數,最多取 40 組入選決賽。

在獎項的部分,為了鼓勵更多團隊藉由群眾集資實現理想,「挖貝提案者大賽」跳脫一般平台僅能提供基礎上架指導的限制,透過母公司「貝殼放大」成立以來奠基的紮實群眾集資執行專業,期望在過程中讓提案團隊獲得完整的專業支持,對群眾集資產業具備正確理念;本次祭出總價值一千萬的豐厚獎項,除了專案推廣費用挹注之外,更包含一對一顧問諮詢、對外宣傳資源、海外平台上架評估與輔導等實際支持;「首獎」可獨得價值 300 萬獎項、「優勝」每組兩名 50 萬獎項、「入選決賽」最多取 40 組各獲得價值 10 萬獎項。

敬請提案團隊把握機會報名參賽,挖貝提案者大賽報名資訊詳見:https://backme.tw/ref/XcxOl/

Photo Credit:貝殼放大

第一屆「挖貝提案者大賽」報名資訊

▶報名時間:即日起至 3 月 31 日

▶初賽結果公告:2022 年 4 月 20 日

▶報名資格

  • 設籍台灣
  • 具備完全行為能力之自然人或合法登記之法人、團體,未成年提案人則須提供法定代理人同意書
  • 報名期間內繳交提案資訊

▶提案組別

  • 原創產品組:生活原創產品(設計、餐飲、美妝保養、服飾)、3C 科技(3C、科技)、活動(活動、運動、旅行)等提案
  • 社會參與組:社會、空間再造、教育、在地等提案
  • 文化內容組:影視娛樂(表演、音樂、影視動畫)、藝文出版(印刷出版、攝影、插畫漫畫、藝術)、遊戲(桌遊、紙牌、電動、遊戲設計)等提案

▶獎項福利(總價值一千萬)

  • 「首獎」:一名,獎項總價值 300 萬
    • 專案推廣費 100 萬
    • 行銷、顧問資源 200 萬
  • 「優勝」:每組兩名,每名獎項總價值 50 萬
    • 專案推廣費 15 萬
    • 行銷、顧問資源 35 萬
  • 「入選決賽」:最多取 40 名,每名獎項總價值 10 萬
    • 行銷、顧問資源 10 萬

▶線上報名連結:https://backme.tw/ref/XcxOl/

本文章內容由「貝殼放大」提供,經關鍵評論網媒體集團廣編企劃編審。