軟體相機時代來臨!Google Pixel 工程師來台揭秘相機技術

智慧型手機越來越貴的魔咒在 Pixel 3a 發表被打破,不過,被視為 Pixel 3 精簡版的 3a 系列在拍照功能上卻沒有因此打折,背後得從 Pixel 系列相機軟硬體設計整合談起!
評論
Google 工程師 Marc Levoy
評論

每年在 Google I/O 上備受矚目的莫過於親兒子 Pixel 系列智慧型手機,今年更是透過簡化硬體及外觀降低成本,推出中階價位的 Pixel 3a 與 3a XL,分別為新台幣 14,500 元起與 17,100 元,研發主要由 Google 台灣團隊完成,台灣也在本次成為首賣國家,智慧型手機越來越貴的魔咒也在本次發表會被打破,不過,被視為 Pixel 3 精簡版的 3a 系列在拍照功能上卻沒有因此打折。

一直受到關注的 Pixel 拍照功能包含,夜視模式、肖像模式和 HDR+ 等,如何憑藉單一鏡頭就傲視雙鏡頭、三鏡頭的競品,在 DxOMark 相機評比創下新高,甚至在降價後的版本都能保有相機的強大功能,讓人不妨有種買了相機附贈手機的錯覺,今日,Google 特別邀請到 Google Pixel  的工程師 Marc Levoy 來向大家解析一番。

相機 App 必備要素:執行迅速 預設可靠

Marc Levoy 首先幫大家釐清,在相機 App 上需要哪些條件,首先,在即時速度的要求,即時觀看器資訊需要高於 15 fps ,快門延遲需要低於 150 毫秒 ,成像時間需低於 5 秒內,需要有可靠的預設模式,包含曝光、對焦和白平衡,在特殊模式下可接受偶發的失敗。

揭秘一:HDR+ 的突破  

接著 Marc Levoy 分別從 HDR+、肖像模式、高解析變焦和夜視模式進行說明,與過去相機透過包圍曝光捕捉不同曝光影像,再加以疊合實現高光清晰的影像,此技術易受到晃動無法實現 HDR 影像。

在 Google Pixel 上的 HDR+ 是捕捉曝光不足下的連拍影像,也就是透過捕捉在相同曝光程度下的連拍影像,並且避免亮處過度曝光,因為影像相似因此更容易校準,再透過 SNR (Signal-to-noise ratio,信號雜訊比) 成功減少陰影與雜訊,並透過色調映射( Tonemap )強化陰影、降低亮處,雖然會因此無法完整呈現整體色調與對比,但卻是保留局部對比。

一般相機透過包圍曝光實現 HDR技術

揭秘二:單鏡頭背後的人像

接下來就是長期備受關注的話題:單鏡頭實現景深模式-清楚的人像和和諧的散景,比起雙鏡頭以硬體為技術基礎實現的景深,Marc Levoy 解釋目前大多數廠商使用的合成景深技術,如何雙鏡頭捕捉相似焦點兩個影像,透過立體匹配演算法,選擇保留銳利的基準,讓背景模糊。

Pixel 手機單鏡頭加上機器學習完成影像,首先,利用機器學習技術分割影像中的人物:運用卷積神經網路 (Convolutional Neural Network, CNN) 預估圖像中每一個像素的人物,卷積神經網路,背後資料來自超過100萬張標籤過的人物和配件的機器學習模型訓練。

同時,透過數學計算中的邊緣感知雙邊求解器(Edge-aware Bilateral Solver)進行細化,讓人物分割的邊緣更加銳利。

再者,就是運用相機中的硬體技術「雙像素 (Dual pixels)」預估深度圖 (Depth Map),雖然機器學習能夠透過單鏡頭完成人像模式,但是受到背後為人像資料的模型,對於非人像就成為阻礙,Pixel 在此就是透過硬體技術解決。

透過雙像素 (Dual-pixels), 將單一像素上的影像分為兩部分,每個像素的右半部通過左半部鏡頭看世界,反之左半部則通過右半部鏡頭看世界,在這樣的分離下會得到兩種具些微差異的成像,鏡頭就能透過非常小的基線 (Baseline) (約1mm) 讓影像立體化。

根據人物與背景的距離按比例
模糊化,將人物所在位置前後一段距離的影像也保持銳利,以讓人物影像能清楚呈現。

此外,Pixel 手機相機透過將焦點擴展讓攝影新手也能而言較容易拍攝出具有景深的人物肖像。

Pixel手機相機則是將焦點擴展,對於攝影初學者而言較容易拍攝出
具有景深的人物肖像

揭秘三:Super Res Zoom 沒用上AI 卻也能媲美 2x 光學變焦手機

第三個,Marc Levoy 解釋到 Super Res Zoom,這項高解析變焦功能可以說是幾項拍照功能中最難理解的一個,雖然此功能背後並無搭載人工智慧及機器學習技術,將多層影像合成為更高像素的照片,不僅提升照片細節的呈現之外,解析度與許多搭載2x光學變焦鏡頭的智慧型手機不相上下。

在一般的相機中,透過一種叫做去馬賽克(Demosaicing)的過程,從部分顏色資訊中重建遺失的資訊,相機感測器元件只用於測量光的強度,而不是直接測量光的顏色。為了捕捉場景中呈現的真實顏色,鏡頭使用放置在感測器前面的顏色濾鏡陣列,以便每個畫素只測量一種顏色(紅色、綠色或藍色)。

Marc Levoy 解釋像素移位原理

而在 Pixel 上相機同時拍攝了4幀畫面,三幀分別於水平、垂直,還有水平與垂直同時位移一個像素,組合此 4 幀畫面後能填補原先缺失的像素都,不必再執行去馬賽克。

若是在不震動的固定環境,仍然可以強制開啟光學影像穩定功能 (Optical Image Stabilization),製造鏡頭「搖晃」來模擬手震達到想要的拍攝效果。

揭秘四:吊打 iPhone XS 的低光攝影

最後則是 Google 一直自豪吊打 iPhone XS 的低光攝影,夜視模式技術保有真實的色彩是一大挑戰,Google 透過學習式白平衡 (Learning-based White Balancing) 調整影像色調藉由計算攝影的自動調整保持景物最真實的色調。

Marc Levoy 也分享他們從古典畫作得到的靈感,包含:強化對比度、將陰影投射成黑色 用黑暗環繞場景,藉由計算攝影進行色調映射 (Tone Mapping)讓影像保有原色。

事實上,這些技術先前 Google AI 團隊屢次都有在部落格上進行分享,今天更像是一場 Pixel 相機軟硬整合的小教室,少了 Pixel 2 系列開始採用的 VPU 視覺運算元件 Pixel Visual Core,仍然藉由機器學習巧用於硬體上,除了處理速度以外,不論是 AI 模型相機鏡頭一樣,都可以實現這些強大的拍照功能。

透過軟體來補足硬體上的功能,不免讓人有種,未來的相機是否會越來越依賴軟體,不過比起此說法,Google 更強調軟硬整合的重要,從上述的案例中也看到 Pixel 並非全依靠AI 來實現相機,背後更多的著墨是在軟硬體設計上的優化。

Marc Levoy 說自己最喜歡在每天早上打開 instagram上看著用戶分享自己使用 Pixel 拍攝的照片,一張張專業級的影像作品,是透過一支單鏡頭手機完成的確是過去無法想像的,隨著相機的升級,大家不需要太昂貴的成本都能更容易拍出好照片,看完這麼多背後技術的解析是否讓你更有感覺了?

在會後,編輯也拿起了最新的Pixel 3a 與 3a XL 雖然在外殼不是玻璃而是聚碳酸酯,但是觸感上和Pixel 3 極為相似。

延伸閱讀:



一圖看懂 最強留才計畫「TCA」

TCA計畫以人工智慧、資料科學、智慧內容、智慧聯網、數位行銷為核心,推出國際人才循環交流模式,整合企業實習計畫與混成式培訓課程,讓在台外籍學生能快速融入本地企業、增強台灣科技人才庫。
評論
評論
Photo Credit:The News Lens Brand Studio

在變化快速的產業趨勢下,無論是個人或國家都必須不斷強化競爭力,在變革中保持優勢。世界經濟論壇(World Economic Forum, 簡稱WEF)提出的《未來工作報告》(the Future of Jobs Report)[1]預測,在自動化科技與疫情的催化下,到了2025年將有8,500萬個現有的職位消失,但也將產生9,700萬個新崗位,這意味著人才技能的提升與重塑事不宜遲。

但實際上,我們應該從何著手?綜觀歷史,文明的精彩總是源自於「開放」。以新加坡為例,根據世界銀行2021全球創新指數(Global Innovation Index 2021[2])調查,新加坡在全球最具創新力國家中排名第八,這得益於他們吸引對外投資及海外人才的豐碩成果。

有鑑於此,為了連接台灣與世界的創新能量,以經濟部、美國在台協會與工業局三單位為核心促成的「人才循環交流推動計畫(Talent Circulation Alliance Program,簡稱TCA)」,就擔綱起吸引與培育優秀人才的責任。TCA 聚焦於數位經濟產業發展相關主題,如人工智慧、資料科學、智慧物聯網、智慧內容、數位行銷、資安、數位轉型等領域,不僅爭取國際上最頂尖的技術、研發和管理人才,也同時連接資源給本地人才,互相激盪交流,更快速促進台灣未來人才的國際力。

結合交流、培育與媒合的一條龍計畫:TCA

TCA 計畫的目標是促進台灣的國際人才流通,培養一批有能力、國際化、數位化的專業人才,提升我國數位人才素質與國際競爭力。不過,要增進台灣產業的未來人才庫,不能靠單點式的努力,而要從頭至尾、一條龍式的打通脈絡,才能更有效地促進人才成長。

因此,TCA 計畫具備三大任務,一是「人才循環」(Circulation)、二是「人才培育」(Cultivation)、三是「人才鏈結」(Connection)。分別著手海內外學生的交流互動、各領域人才的線上線下混成式學習資源,再到與實務界的串接,創造實習與就業機會,讓學有所用;同時也替產業帶進最新的數位應用,讓實習生激發既有產業的創新力、也讓富有經驗的企業提供實務經驗給新鮮人,兩相刺激、教學相長。

除了實務的工作技能外,TCA 也相當注重外籍學生的融入狀況,幫助他們適應文化上的差異,提供國際培訓和實習計畫,讓國際學生更容易融入台灣職場、台灣學生更容易進入海外單位實習,並於兩者間搭起團隊合作的橋樑。

學以致用,與企業實務接軌

TCA 的實習計畫於 2022 年串接了多達 22 家台灣企業與機構,提供 240 小時培訓與實務研習時數,結合 DIGI+ Talent 跨域數位人才加速躍升計畫(簡稱 DIGI+ 計畫,其對象為 230 名大三至碩二的台灣學生)與 TCA(TCA 的對象為 80 名在台就學之大學至研究所的外籍學生)兩項計畫,讓具有國際背景的求職者得以更快融入並站上合適的舞臺,也讓台灣學生更適應與國際人才互動。

為了避免無效的實習模式,TCA 採用的實習方式也相當特殊:「專題實務研習模式」。這種以專題為主軸的實習,不僅能提供企業有實務價值的提案,也讓在台外籍學生與台灣本地學生有機會共同執行跨領域數位經濟相關專題,達到多贏的局面。

例如,在上一屆計畫中,來自巴基斯坦、泰國的研習生與台灣研習生進行合作,在研習單位(財團法人紡織產業綜合研究所)的輔佐下,開發出「智慧互動瑜珈墊」,透過感測足底壓力判斷使用者姿勢並引導呼吸頻率,可輔助初學者達到瑜伽正念的最佳效果。在專題研習的過程中,外籍研習生與台灣研習生充分進行語言及文化方面交流,並以問題解決為導向,結合智慧織物與數位媒介,最終產出令人眼前為之一亮的產品,並一舉奪得首獎。

在執行的兩年中,此計畫已成功媒合 32 國 138 位外籍生進入 27 家台灣企業與機構進行實習,創造讓人才留台發揮所長的平台。

Photo Credit:TCA 計畫同學提供

線上線下不間斷,免費培訓與資源媒合

此計畫同時提供眾多免費學習資源,包括線上課程與工作坊,讓有興趣的學生們得以共同學習。其中包括「TCA 網路學院」平台,現有 30 門英語授課之數位課程上線,內容針對外籍學生所需的各種知識設計而成,包括實務技能如數位技能、數位行銷,以及文化相關的軟實力課程。

除此之外,計畫也積極辦理諸如數位技能、職場軟實力、文化議題之論壇與工作坊,結合大師對談與企業參訪,讓知識與實務間的距離更為縮短。過去曾舉辦的大師對談講座包括「Hacking for Good : AI in Cybersecurity Forum」,邀請到數據分析公司鄧白氏(Dun & Bradstreet)的高級副總裁兼首席數據科學家 Anthony Scriffignano 博士擔綱演講;另外也和美國在台協會(AIT)於 2021 年共同辦理「看見科技業多元與共融的職場文化」講座,邀請來自科技業的傑出領導者擔任與談貴賓,分享企業如何在職場中實踐 DEIA(指多元 Diversity、公平 Equity、共融 Inclusion 與可及性 Accessibility)的理念,並鼓勵來自不同身分與背景的優秀青年積極投入科技產業。

透過自學課程與大師的觀點分享,讓人才不僅得以學習最前沿的數位技能,更能具備國際視野與宏觀思維,而這些高價值的知識在 TCA 計畫中皆不收取費用,就是希望能降低學習的門檻,讓人才得以盡情吸收各種珍貴的知識。

Photo Credit:TCA 計畫提供

上工啦!全方位國際徵才博覽會與職缺平台

經過了扎實的企業專題實習與超高價值的學習培訓後,最重要的還是讓人才學以致用,最終在產業中發揮價值。因此,TCA 計畫透過辦理國際企業徵才博覽會,以及建置國際人才媒合平台「TCA 國際人才庫」,鎖定國際化、想要跨入數位領域的求職者,提前為台灣的人才轉型做準備,並真正落實「將人才留在台灣」。

以剛落幕的「2022 跨域數位暨國際人才就業博覽會」為例,TCA邀請華碩、廣達、緯創等 30 家企業參與徵才、開放超過 2,000 個職缺,參與求職的人才中,有高達三成為在臺外籍專業人才,連續兩年下來,國際企業徵才博覽會已累積媒合 45 家廠商、超過 700 名人才;而所建置的人才媒合平台,也透過生動活潑的「路線圖」,清楚呈現國際人才來台求學、求職、生活等豐富資訊。

Photo Credit:TCA 計畫提供

透過 TCA 計畫,最終願景是希望得以留才於台灣,在數位轉型的時代積蓄能量、培養我國人才與產業競爭力,打造創新台灣產業。

了解更多
按讚粉絲專頁

經濟部工業局廣告

[1] The Future of Jobs Report 2020
[2] Global Innovation Index 2021