軟體相機時代來臨!Google Pixel 工程師來台揭秘相機技術

智慧型手機越來越貴的魔咒在 Pixel 3a 發表被打破,不過,被視為 Pixel 3 精簡版的 3a 系列在拍照功能上卻沒有因此打折,背後得從 Pixel 系列相機軟硬體設計整合談起!
評論
Google 工程師 Marc Levoy
評論

每年在 Google I/O 上備受矚目的莫過於親兒子 Pixel 系列智慧型手機,今年更是透過簡化硬體及外觀降低成本,推出中階價位的 Pixel 3a 與 3a XL,分別為新台幣 14,500 元起與 17,100 元,研發主要由 Google 台灣團隊完成,台灣也在本次成為首賣國家,智慧型手機越來越貴的魔咒也在本次發表會被打破,不過,被視為 Pixel 3 精簡版的 3a 系列在拍照功能上卻沒有因此打折。

一直受到關注的 Pixel 拍照功能包含,夜視模式、肖像模式和 HDR+ 等,如何憑藉單一鏡頭就傲視雙鏡頭、三鏡頭的競品,在 DxOMark 相機評比創下新高,甚至在降價後的版本都能保有相機的強大功能,讓人不妨有種買了相機附贈手機的錯覺,今日,Google 特別邀請到 Google Pixel  的工程師 Marc Levoy 來向大家解析一番。

相機 App 必備要素:執行迅速 預設可靠

Marc Levoy 首先幫大家釐清,在相機 App 上需要哪些條件,首先,在即時速度的要求,即時觀看器資訊需要高於 15 fps ,快門延遲需要低於 150 毫秒 ,成像時間需低於 5 秒內,需要有可靠的預設模式,包含曝光、對焦和白平衡,在特殊模式下可接受偶發的失敗。

揭秘一:HDR+ 的突破  

接著 Marc Levoy 分別從 HDR+、肖像模式、高解析變焦和夜視模式進行說明,與過去相機透過包圍曝光捕捉不同曝光影像,再加以疊合實現高光清晰的影像,此技術易受到晃動無法實現 HDR 影像。

在 Google Pixel 上的 HDR+ 是捕捉曝光不足下的連拍影像,也就是透過捕捉在相同曝光程度下的連拍影像,並且避免亮處過度曝光,因為影像相似因此更容易校準,再透過 SNR (Signal-to-noise ratio,信號雜訊比) 成功減少陰影與雜訊,並透過色調映射( Tonemap )強化陰影、降低亮處,雖然會因此無法完整呈現整體色調與對比,但卻是保留局部對比。

一般相機透過包圍曝光實現 HDR技術

揭秘二:單鏡頭背後的人像

接下來就是長期備受關注的話題:單鏡頭實現景深模式-清楚的人像和和諧的散景,比起雙鏡頭以硬體為技術基礎實現的景深,Marc Levoy 解釋目前大多數廠商使用的合成景深技術,如何雙鏡頭捕捉相似焦點兩個影像,透過立體匹配演算法,選擇保留銳利的基準,讓背景模糊。

Pixel 手機單鏡頭加上機器學習完成影像,首先,利用機器學習技術分割影像中的人物:運用卷積神經網路 (Convolutional Neural Network, CNN) 預估圖像中每一個像素的人物,卷積神經網路,背後資料來自超過100萬張標籤過的人物和配件的機器學習模型訓練。

同時,透過數學計算中的邊緣感知雙邊求解器(Edge-aware Bilateral Solver)進行細化,讓人物分割的邊緣更加銳利。

再者,就是運用相機中的硬體技術「雙像素 (Dual pixels)」預估深度圖 (Depth Map),雖然機器學習能夠透過單鏡頭完成人像模式,但是受到背後為人像資料的模型,對於非人像就成為阻礙,Pixel 在此就是透過硬體技術解決。

透過雙像素 (Dual-pixels), 將單一像素上的影像分為兩部分,每個像素的右半部通過左半部鏡頭看世界,反之左半部則通過右半部鏡頭看世界,在這樣的分離下會得到兩種具些微差異的成像,鏡頭就能透過非常小的基線 (Baseline) (約1mm) 讓影像立體化。

根據人物與背景的距離按比例
模糊化,將人物所在位置前後一段距離的影像也保持銳利,以讓人物影像能清楚呈現。

此外,Pixel 手機相機透過將焦點擴展讓攝影新手也能而言較容易拍攝出具有景深的人物肖像。

Pixel手機相機則是將焦點擴展,對於攝影初學者而言較容易拍攝出
具有景深的人物肖像

揭秘三:Super Res Zoom 沒用上AI 卻也能媲美 2x 光學變焦手機

第三個,Marc Levoy 解釋到 Super Res Zoom,這項高解析變焦功能可以說是幾項拍照功能中最難理解的一個,雖然此功能背後並無搭載人工智慧及機器學習技術,將多層影像合成為更高像素的照片,不僅提升照片細節的呈現之外,解析度與許多搭載2x光學變焦鏡頭的智慧型手機不相上下。

在一般的相機中,透過一種叫做去馬賽克(Demosaicing)的過程,從部分顏色資訊中重建遺失的資訊,相機感測器元件只用於測量光的強度,而不是直接測量光的顏色。為了捕捉場景中呈現的真實顏色,鏡頭使用放置在感測器前面的顏色濾鏡陣列,以便每個畫素只測量一種顏色(紅色、綠色或藍色)。

Marc Levoy 解釋像素移位原理

而在 Pixel 上相機同時拍攝了4幀畫面,三幀分別於水平、垂直,還有水平與垂直同時位移一個像素,組合此 4 幀畫面後能填補原先缺失的像素都,不必再執行去馬賽克。

若是在不震動的固定環境,仍然可以強制開啟光學影像穩定功能 (Optical Image Stabilization),製造鏡頭「搖晃」來模擬手震達到想要的拍攝效果。

揭秘四:吊打 iPhone XS 的低光攝影

最後則是 Google 一直自豪吊打 iPhone XS 的低光攝影,夜視模式技術保有真實的色彩是一大挑戰,Google 透過學習式白平衡 (Learning-based White Balancing) 調整影像色調藉由計算攝影的自動調整保持景物最真實的色調。

Marc Levoy 也分享他們從古典畫作得到的靈感,包含:強化對比度、將陰影投射成黑色 用黑暗環繞場景,藉由計算攝影進行色調映射 (Tone Mapping)讓影像保有原色。

事實上,這些技術先前 Google AI 團隊屢次都有在部落格上進行分享,今天更像是一場 Pixel 相機軟硬整合的小教室,少了 Pixel 2 系列開始採用的 VPU 視覺運算元件 Pixel Visual Core,仍然藉由機器學習巧用於硬體上,除了處理速度以外,不論是 AI 模型相機鏡頭一樣,都可以實現這些強大的拍照功能。

透過軟體來補足硬體上的功能,不免讓人有種,未來的相機是否會越來越依賴軟體,不過比起此說法,Google 更強調軟硬整合的重要,從上述的案例中也看到 Pixel 並非全依靠AI 來實現相機,背後更多的著墨是在軟硬體設計上的優化。

Marc Levoy 說自己最喜歡在每天早上打開 instagram上看著用戶分享自己使用 Pixel 拍攝的照片,一張張專業級的影像作品,是透過一支單鏡頭手機完成的確是過去無法想像的,隨著相機的升級,大家不需要太昂貴的成本都能更容易拍出好照片,看完這麼多背後技術的解析是否讓你更有感覺了?

在會後,編輯也拿起了最新的Pixel 3a 與 3a XL 雖然在外殼不是玻璃而是聚碳酸酯,但是觸感上和Pixel 3 極為相似。

延伸閱讀:



品味生活三大秘訣:「用心工作、長期投資、技巧買房」跟隨達人經驗,逐步實現夢想!

永豐銀行攜手關鍵評論網的「DAWHO之夜」直播活動剛落幕,主持人吳怡霈、樂居網創辦人李奕農、存股達人大俠武林分享買房、投資小撇步,如何善用理財工具,讓大家在投資路上更加順心有效率!
評論
評論

想營造理想的lifestyle,期待夢想的生活趕快實現,不僅需要用心於日常細節,更要懂得及早進行理財規劃,讓豐盛的財富Cover自己每一天!9月23日關鍵評論網與永豐銀行舉辦「大戶品味生活家」線上直播活動,除了邀請到甜美的吳怡霈擔綱主持,主要對談人樂居網創辦人李奕農更洞悉房市趨勢,教網友如何聰明買房,無論自住、投資都上手!此外,36歲就靠著存股擁有亮眼被動收入的理財專家大俠武林,也精采分享新書《股息Cover我每一天:600張存股達人絕活全公開》中的個人投資法,極簡佛系的風格,讓平常還要忙於工作的小資族也能輕鬆累積資產,邁向財富自由的人生。

理財投資有訣竅 數位帳戶好上手

吳怡霈談到大部分人在工作幾年後為自己存到第一桶金、第二桶金,除了計畫買房外,也希望盡快完成退休計畫,不再為金錢操心。在這過程中大家都知道投資理財很重要,卻難免害怕卻步,因為聽聞不少人在股市殺進殺出,不僅沒有賺到錢還因此賠上辛苦累積的資產。財經KOL大俠武林因為知道大家的投資痛點,特別給有心投資的民眾一段理財口訣:「專注本業、閒錢投資」。

「其實對於非專業的投資者來說,專心工作、努力加薪、長期務實投資才是上策,有穩定的收入才能讓你在股災或恐慌行情時進入股市、購買績優公司與含有績優成分股的ETF、利用空頭市場放大現金實質購買力,參與長期的資本利得並領取配息。」大俠武林認為數十年資產穩定累積的成果,不見得會輸給短期殺進殺出的價差買賣策略,這也是他之所以一再強調要使用閒錢投資的原因。「短期股市震盪多、非常難預測,若你常被市場消息左右但又急於用錢,就容易在部位起漲前賣光持有,白忙一場。」

因此為了更有紀律地投資,不被情緒、市場消息打亂原先的風險控制與資金布局計劃,大俠武林建議網友可以使用永豐銀行最近推出的「ibrAIn智在未來」投資工具。

「它不僅能預先設定自己的投資目標、協助訂出合適的投資組合,還有24小時自動化投資顧問替投資者進行監控股票表現、產品組合比例,聰明省心地逐步達成理財目標,同時過好日常生活。」

若在投資工具之外共同搭配安心、好用的理財工具,一站式服務對於忙碌的投資人來說更上手。永豐銀行積極推動「DAWHO數位帳戶」全方位金融體驗,在坊間一片數位轉型浪潮中,提供安全可靠的線上帳戶申請及豐富金融產品,包含DAWHO理財型房貸、大戶投等,有助於顧客聰明精明輕鬆地管理財富。

感性+理性買房 自住、換房、投資都省心

談到買房,樂居網創辦人李奕農建議購置接手性好的主流產品,而不只單憑個人喜好。「所謂接手性好就是要理性選擇,而不只是情感導向購買沒有電梯的公寓四五樓、屋齡大於三十年、地上權住宅以及公設比太高的房子」。李奕農補充到,若是針對投資買房者,他建議選擇高薪人力的外來人口區,例如有台積電員工進駐的台南,房價及買氣才有所支撐;高租金投報區,例如就業人口多、房子好租且房價不高的桃園觀音工業區、台中海線三井OUTLET等。

其實在學習投資技巧和買房心法之外,若能長期擁有安心的理財團隊,更能在財富管理路上走得順風順水。永豐銀行「尊榮理財會員」除了提供專人理財諮詢,還有免費機場接送與高鐵商務車廂免費升級等禮遇;現在加入永豐銀行財富管理的貴賓,若同時選擇開立「DAWHO數位帳戶」還將另外致贈英國經典Jo Malone香水組,現在就邀請最有質感的投資者加入永豐銀行,一起在幸福的氛圍中邁向財富自由!