在雙鏡頭年代,你的手機鏡頭已經不再是鏡頭

相機元件廠商未來將面對巨大的挑戰。以往只提供硬體平台的他們,將要進一步提更完善的相機算法方案,更可能要與手機晶片製造商合作,把計算能力和影像計算整合,並為未來的手機元件產業帶來更大的衝擊。
評論
評論

本文來自 合作媒體愛范兒 ,INSIDE 授權轉載

正如不少媒體所預料,iPhone 7 Plus 進入了雙鏡頭的時代。

雖然說 iPhone 絕不是第一個使用雙鏡頭的手機,但蘋果甚少採用最前沿的技術,但往往會把還未能量產、或成本太高的新技術,透過大量生產的方式來降低售價,這些零件才能得以普及,促使整個產業跟進。

iphone-7-1

同樣地,iPhone 7 絕不是第一個採用雙鏡頭設計的手機 ,但考慮到 iPhone 的影響力,或許手機的雙鏡頭年代即將開始。

手機鏡頭的死胡同

為什麼手機要用雙鏡頭?關鍵在於手機照相能力已到了盡頭。

手機作為一個大眾化的消費級產品,一直都處於照相能力的軍備競賽之中。最初手機照相能力之爭,重點在於分辨率:由 60 萬、200 萬、500 萬、800 萬一直鬥到千萬級以上,非要把手機的畫面放大到「毛根」的階段,業界才發現手機 CMOS 的尺寸與分辨率已經去到難以共存的地步。

然後,產業之間開始不斷的增加鏡片數目、也不斷的增大鏡頭光圈、不斷的增大 CMOS 面積、不斷的加入光學防抖等零部件,直至連 iPhone 也有一個醜得不能再醜的凸出鏡頭(下圖),直至連 iPhone 也要為加入光學防抖而砍掉 3.5mm 耳機,大眾才開始留意到:手機內部已經難以單純透過硬體來提升成像能力。

apple-iphone-6s-live-_2160_12

更重要的是:手機廠商值得為了提升相機的成像能力而作進一步的犧牲嗎?在經濟學上有一個邊際效用遞減定律 (Law of diminishing marginal utility),指的當消費者會增加一個單位產品所取得的額外效用,會隨著數量的增加而下降,直至邊際效用達到負值時(即每增加一單位產品,效用反而減少),消費者將不會喜愛該產品。

手機鏡頭的邊際效用定律

同樣地,手機鏡頭的性能增長,也受到邊際效用遞減定律所限制。在手機鏡頭發展的初期,手機的拍攝質素實在太爛,所以我們可以每一次增加分辨率、每一次增加新的鏡片、每一次加大鏡頭和感光元件,都會帶來使用者在拍攝體驗上的成長。

但是,成像能力到了 iPhone 5s 開始進入死胡同。

當時就有不少評測者,開始把 iPhone 5s 與專業級的單鏡反光相機 (DSLR) 相比;但這絕不是指 iPhone 5s 的真的達到專業級相機的水平,而是指一般使用者開始不太在意手機與專業級相機照片的細微差距 ── 儘管對於攝影愛好者來說,差別是巨大的。後來,華為偷偷的把佳能相機的照片,偷偷扮成是旗下手機拍攝的照片(下圖),就已經反映了就連廠商也覺得普通使用者根本也不在意,所以才敢指鹿為馬。

ap_resize-php_

當普通使用者已經不再重視那些「細微」的成像提升,但手機公司為了與對手競爭,仍然肆意的把相機元件提升, 直至 iPhone 6 那個醜陋的「凸鏡頭」後,導致怨聲四起,業界才開始留意到:手機的空間已經不容我們無限量增加提升成像能力

當年使用者會被 iPhone 5s 的鏡頭所打動,但很難再為 iPhone 6s 的鏡頭而心動。同樣地,我們不是說單鏡頭不能再繼續提升, 但改良鏡頭時所付出愈來愈多的成本、在機身裡所作出愈來愈多的妥協,只能換來攝影愛好者的讚美,但對於一般消費者來說,卻是愈來愈微不足道

故此,廠商必須在最小的犧牲下,為使用者帶來最新的價值。所以,雙鏡頭就應運而生了。

手機鏡頭作為感應器

雙鏡頭的重要性在哪裡?因為它拍出來的不光是「成像」,而是「數據」。

請不要光是把「相機」視作為「相機」,要把它視作為「感應器」,就知道它的潛力所在 ── 有了相機,你可以把平板當成掃描器 (Scanner);也可以把平板當成是擴增實境 (Augmented Reality) 的螢幕。

事實上自手機進入智慧化時代開始,開發者就不斷為手機鏡頭加入「拍照」以外的新功能 : Scanner Pro 會把手機鏡頭當作掃描器 (Scanner),許多軟體也大量把手機鏡頭當成二維碼掃描器,甚至用作行動支付之用;也有程式能把鏡頭用作測距,或是把鏡頭作為 AR 運用。

儘管照相機進入數位化已經有不短的日子,但一直以來手機廠商重視的是「成像」不是「數據」,所以大家的關注點仍然是「光學」。直至 HDR (High Dynamic Range) 流行後,手機廠商才開始採用多重照片合成,來改善相片品質。

蘋果在 2011 年的 iPhone 4s 開始,在 SONY 的 CMOS 以外再自行研發自家的圖像訊號處理器 (ISP, Image Signal Processor),在 iPhone 5s 發佈會中,蘋果展示 iPhone 如何在一次的拍攝中生成海量的照片,再合成最好的照片(下圖)。當中的每一次光學成像,在處理器中已經不再是單純的光學影像,而是數據和算法。

iphone-5s-camera

同樣地,雙鏡頭的重要性並不是因為它有雙鏡頭。

單純從硬體來看,雙鏡頭拍出來的成像,極其量就是兩張不同像素的照片,單獨看起來意義不大。但如何發揮雙鏡頭的優勢,關鍵已經不單單是光學,而是合成算法 ── 蘋果近年雖然在人工智慧上默默無聞,但實際上他們早就對此深度研發;剛好在 iPhone 7 的發佈會上,蘋果高層 Phil Schiller 指出,他們在 iPhone 7 的鏡頭裡大量使用機器學習 (Machine Learning)(下圖)。

iphone-7-camera

簡言之,未來手機鏡頭將會步入新的時代:影像算法和人工智慧。

雙鏡頭的「感應器」作用

目前的消費級設備上的雙鏡頭運算,主要以兩種方式為主,一是雙目「疊加」,二是雙目「視差」。

手機的雙鏡頭運算,目前主要以「疊加」來增強攝影功能。HTC One 和 iPhone 7 一樣,均以雙鏡頭為手段,讓手機在沒有變得更厚的情況下,把兩個影像數據對比,然後進行像素疊加,借此達至無損/低損的數碼變焦功能。

而華為在雙鏡頭的處理則有點不同:它們以一個黑白、一個彩色的鏡頭組合,利用黑白感應器有更佳光線感應能力的優勢,再把彩色鏡頭的色彩訊息疊加,借此取得更好的低光拍攝能力。不過,兩者都可以把不同焦距的效果疊加,然後讓使用者能在後期調整景深。

相反,目前不少非手機設備的雙鏡頭運算,卻是以「視差」來測距,借此進行 3D 建模。目前的體感遊戲設備、VR 設備、以致無人機和無人駕駛汽車的自動避障功能,均過雙鏡頭攝影機透過鏡頭之間的距離,使影像出現「視差」,然後再把兩個不同的影像數據對比,用三角算法計算出鏡頭與對像之間的距離(下圖),並即時繪畫立體影像,借此渲染虛擬影像、或計劃安全的行駛路線。

distance_by_triangulation-svg

然而,由於 VR/AR 技術、以及自動避障技術愈來愈流行,導致早前不少媒體誤以為 iPhone 為首的雙鏡頭陣營,將會把手機帶到 VR 世界裡。

問題是「雙目疊加」和「雙目視差」的設備,在目前的科技下仍然是個矛盾命題:雙鏡頭的兩個影像的差距愈少愈好,系統才能更準確的把影像無瑕疊加,故此,兩個鏡頭必須盡量靠攏在一起;但 VR/AR 所用的雙目視差,兩個影像必須有夠差距,兩者之間的夾角才能增加,運算精度才能提高,所以兩個鏡頭之間的距離必須愈遠愈好。

stereoscope

除了是雙鏡頭距離之間的矛盾之外,目前使用雙目視差來進行 3D 建模,所需要的計算能力遠遠比影像疊加要高。大疆 Phantom 4 就以專門的 FPGA 來進行雙目運算,而 HTC Vive 更需要高端桌面電腦來能推動,而坊間大部份的無人駕駛汽車也要使用「核彈頭」級別的專門圖像處理器來計算。但以目前手機晶片的處理速度和手機的續航力來說,根本不足以進行 3D 建模。

簡言之,iPhone 在短期內,不可能透過雙鏡頭做到任何與 VR/AR 有關的事。

但是這代表蘋果「未來」真的不可能透過相機頭加入 VR/AR 陣營嗎?我們並不知道。但是,蘋果 CEO 庫克對 VR 和 AR 兩者,他們更重視的是 AR。而 AR 正是需要大量使用鏡頭作感應器的交互方式。

也許 iPhone 在今天的水平仍然不足以在 AR 做些什麼事,但蘋果在 iPhone 7 上開始,累積雙鏡頭的算法,等候幾年後的硬體爆發時,就可能是時候了。

手機攝影將會進入新時代

雖然如此,也許目前的科技未能協調兩者的矛盾,但在雙鏡頭的帶領下,未來手機攝影仍然不可避免的進入「智慧」、甚至是「電腦視覺」的時代。

製造手機的時代已經改變,手機廠商將很難光以強大的供應鏈能力,以採購元件和把開源系統稍稍改進,就能推出手機。所以,沒有算法和人工智慧技術的廠商,將會愈來愈吃虧。

蘋果也是一樣。iPhone 7 Plus 的虛化效果比起先前引入雙鏡頭的手機廠商來說還不錯,但從攝影師的角度去看,這些照片(下圖)距離相機還是有很長的距離。而且與通過光學效果實現虛化相比,蘋果在現階段的數位算法還不能達到這個水平。

bw2

很明顯,蘋果在這方面還有很長很長的路要走。

同樣地,相機元件廠商未來也要面對巨大的挑戰。以往只提供硬體平台的他們,將要進一步提更完善的相機算法方案,更可能要與手機晶片製造商合作,把計算能力和影像計算整合,並為未來的手機元件產業帶來更大的衝擊,就例如高通 (Qualcomm) 就準備好雙鏡頭模組方案,手機廠準備打開錢包買新組件吧。

且讓我們拭目以待,這一次的雙鏡頭革命會如何改變手機生態吧。