每年在 Google I/O 上備受矚目的莫過於親兒子 Pixel 系列智慧型手機，今年更是透過簡化硬體及外觀降低成本，推出中階價位的 Pixel 3a 與 3a XL，分別為新台幣 14,500 元起與 17,100 元，研發主要由 Google 台灣團隊完成，台灣也在本次成為首賣國家，智慧型手機越來越貴的魔咒也在本次發表會被打破，不過，被視為 Pixel 3 精簡版的 3a 系列在拍照功能上卻沒有因此打折。

一直受到關注的 Pixel 拍照功能包含，夜視模式、肖像模式和 HDR+ 等，如何憑藉單一鏡頭就傲視雙鏡頭、三鏡頭的競品，在 DxOMark 相機評比創下新高，甚至在降價後的版本都能保有相機的強大功能，讓人不妨有種買了相機附贈手機的錯覺，今日，Google 特別邀請到 Google Pixel  的工程師 Marc Levoy 來向大家解析一番。

相機 App 必備要素：執行迅速 預設可靠

Marc Levoy 首先幫大家釐清，在相機 App 上需要哪些條件，首先，在即時速度的要求，即時觀看器資訊需要高於 15 fps ，快門延遲需要低於 150 毫秒 ，成像時間需低於 5 秒內，需要有可靠的預設模式，包含曝光、對焦和白平衡，在特殊模式下可接受偶發的失敗。

揭秘一：HDR+ 的突破  

接著 Marc Levoy 分別從 HDR+、肖像模式、高解析變焦和夜視模式進行說明，與過去相機透過包圍曝光捕捉不同曝光影像，再加以疊合實現高光清晰的影像，此技術易受到晃動無法實現 HDR 影像。

在 Google Pixel 上的 HDR+ 是捕捉曝光不足下的連拍影像，也就是透過捕捉在相同曝光程度下的連拍影像，並且避免亮處過度曝光，因為影像相似因此更容易校準，再透過 SNR (Signal-to-noise ratio,信號雜訊比) 成功減少陰影與雜訊，並透過色調映射( Tonemap )強化陰影、降低亮處，雖然會因此無法完整呈現整體色調與對比，但卻是保留局部對比。

揭秘二：單鏡頭背後的人像

接下來就是長期備受關注的話題：單鏡頭實現景深模式-清楚的人像和和諧的散景，比起雙鏡頭以硬體為技術基礎實現的景深，Marc Levoy 解釋目前大多數廠商使用的合成景深技術，如何雙鏡頭捕捉相似焦點兩個影像，透過立體匹配演算法，選擇保留銳利的基準，讓背景模糊。

Pixel 手機單鏡頭加上機器學習完成影像，首先，利用機器學習技術分割影像中的人物：運用卷積神經網路 (Convolutional Neural Network, CNN) 預估圖像中每一個像素的人物，卷積神經網路，背後資料來自超過100萬張標籤過的人物和配件的機器學習模型訓練。

同時，透過數學計算中的邊緣感知雙邊求解器(Edge-aware Bilateral Solver)進行細化，讓人物分割的邊緣更加銳利。

再者，就是運用相機中的硬體技術「雙像素 (Dual pixels)」預估深度圖 (Depth Map)，雖然機器學習能夠透過單鏡頭完成人像模式，但是受到背後為人像資料的模型，對於非人像就成為阻礙，Pixel 在此就是透過硬體技術解決。

透過雙像素 (Dual-pixels)， 將單一像素上的影像分為兩部分，每個像素的右半部通過左半部鏡頭看世界，反之左半部則通過右半部鏡頭看世界，在這樣的分離下會得到兩種具些微差異的成像，鏡頭就能透過非常小的基線 (Baseline) (約1mm) 讓影像立體化。

此外，Pixel 手機相機透過將焦點擴展讓攝影新手也能而言較容易拍攝出具有景深的人物肖像。

揭秘三：Super Res Zoom 沒用上AI 卻也能媲美 2x 光學變焦手機

第三個，Marc Levoy 解釋到 Super Res Zoom，這項高解析變焦功能可以說是幾項拍照功能中最難理解的一個，雖然此功能背後並無搭載人工智慧及機器學習技術，將多層影像合成為更高像素的照片，不僅提升照片細節的呈現之外，解析度與許多搭載2x光學變焦鏡頭的智慧型手機不相上下。

在一般的相機中，透過一種叫做去馬賽克（Demosaicing）的過程，從部分顏色資訊中重建遺失的資訊，相機感測器元件只用於測量光的強度，而不是直接測量光的顏色。為了捕捉場景中呈現的真實顏色，鏡頭使用放置在感測器前面的顏色濾鏡陣列，以便每個畫素只測量一種顏色（紅色、綠色或藍色）。

而在 Pixel 上相機同時拍攝了4幀畫面，三幀分別於水平、垂直，還有水平與垂直同時位移一個像素，組合此 4 幀畫面後能填補原先缺失的像素都，不必再執行去馬賽克。

若是在不震動的固定環境，仍然可以強制開啟光學影像穩定功能 (Optical Image Stabilization)，製造鏡頭「搖晃」來模擬手震達到想要的拍攝效果。

揭秘四：吊打 iPhone XS 的低光攝影

最後則是 Google 一直自豪吊打 iPhone XS 的低光攝影，夜視模式技術保有真實的色彩是一大挑戰，Google 透過學習式白平衡 (Learning-based White Balancing) 調整影像色調藉由計算攝影的自動調整保持景物最真實的色調。

Marc Levoy 也分享他們從古典畫作得到的靈感，包含：強化對比度、將陰影投射成黑色 用黑暗環繞場景，藉由計算攝影進行色調映射 (Tone Mapping)讓影像保有原色。

事實上，這些技術先前 Google AI 團隊屢次都有在部落格上進行分享，今天更像是一場 Pixel 相機軟硬整合的小教室，少了 Pixel 2 系列開始採用的 VPU 視覺運算元件 Pixel Visual Core，仍然藉由機器學習巧用於硬體上，除了處理速度以外，不論是 AI 模型相機鏡頭一樣，都可以實現這些強大的拍照功能。

透過軟體來補足硬體上的功能，不免讓人有種，未來的相機是否會越來越依賴軟體，不過比起此說法，Google 更強調軟硬整合的重要，從上述的案例中也看到 Pixel 並非全依靠AI 來實現相機，背後更多的著墨是在軟硬體設計上的優化。

Marc Levoy 說自己最喜歡在每天早上打開 instagram上看著用戶分享自己使用 Pixel 拍攝的照片，一張張專業級的影像作品，是透過一支單鏡頭手機完成的確是過去無法想像的，隨著相機的升級，大家不需要太昂貴的成本都能更容易拍出好照片，看完這麼多背後技術的解析是否讓你更有感覺了？

在會後，編輯也拿起了最新的Pixel 3a 與 3a XL 雖然在外殼不是玻璃而是聚碳酸酯，但是觸感上和Pixel 3 極為相似。

延伸閱讀：

• 台灣主要研發！Google 新機 Pixel 3a 歸功台團隊
• 售價僅 14500 元，Google Pixel 3a 正式降臨！