在雙鏡頭年代,你的手機鏡頭已經不再是鏡頭

相機元件廠商未來將面對巨大的挑戰。以往只提供硬體平台的他們,將要進一步提更完善的相機算法方案,更可能要與手機晶片製造商合作,把計算能力和影像計算整合,並為未來的手機元件產業帶來更大的衝擊。
評論
評論

本文來自 合作媒體愛范兒 ,INSIDE 授權轉載

正如不少媒體所預料,iPhone 7 Plus 進入了雙鏡頭的時代。

雖然說 iPhone 絕不是第一個使用雙鏡頭的手機,但蘋果甚少採用最前沿的技術,但往往會把還未能量產、或成本太高的新技術,透過大量生產的方式來降低售價,這些零件才能得以普及,促使整個產業跟進。

同樣地,iPhone 7 絕不是第一個採用雙鏡頭設計的手機 ,但考慮到 iPhone 的影響力,或許手機的雙鏡頭年代即將開始。

手機鏡頭的死胡同

為什麼手機要用雙鏡頭?關鍵在於手機照相能力已到了盡頭。

手機作為一個大眾化的消費級產品,一直都處於照相能力的軍備競賽之中。最初手機照相能力之爭,重點在於分辨率:由 60 萬、200 萬、500 萬、800 萬一直鬥到千萬級以上,非要把手機的畫面放大到「毛根」的階段,業界才發現手機 CMOS 的尺寸與分辨率已經去到難以共存的地步。

然後,產業之間開始不斷的增加鏡片數目、也不斷的增大鏡頭光圈、不斷的增大 CMOS 面積、不斷的加入光學防抖等零部件,直至連 iPhone 也有一個醜得不能再醜的凸出鏡頭(下圖),直至連 iPhone 也要為加入光學防抖而砍掉 3.5mm 耳機,大眾才開始留意到:手機內部已經難以單純透過硬體來提升成像能力。

更重要的是:手機廠商值得為了提升相機的成像能力而作進一步的犧牲嗎?在經濟學上有一個邊際效用遞減定律 (Law of diminishing marginal utility),指的當消費者會增加一個單位產品所取得的額外效用,會隨著數量的增加而下降,直至邊際效用達到負值時(即每增加一單位產品,效用反而減少),消費者將不會喜愛該產品。

手機鏡頭的邊際效用定律

同樣地,手機鏡頭的性能增長,也受到邊際效用遞減定律所限制。在手機鏡頭發展的初期,手機的拍攝質素實在太爛,所以我們可以每一次增加分辨率、每一次增加新的鏡片、每一次加大鏡頭和感光元件,都會帶來使用者在拍攝體驗上的成長。

但是,成像能力到了 iPhone 5s 開始進入死胡同。

當時就有不少評測者,開始把 iPhone 5s 與專業級的單鏡反光相機 (DSLR) 相比;但這絕不是指 iPhone 5s 的真的達到專業級相機的水平,而是指一般使用者開始不太在意手機與專業級相機照片的細微差距 ── 儘管對於攝影愛好者來說,差別是巨大的。後來,華為偷偷的把佳能相機的照片,偷偷扮成是旗下手機拍攝的照片(下圖),就已經反映了就連廠商也覺得普通使用者根本也不在意,所以才敢指鹿為馬。

當普通使用者已經不再重視那些「細微」的成像提升,但手機公司為了與對手競爭,仍然肆意的把相機元件提升, 直至 iPhone 6 那個醜陋的「凸鏡頭」後,導致怨聲四起,業界才開始留意到:手機的空間已經不容我們無限量增加提升成像能力

當年使用者會被 iPhone 5s 的鏡頭所打動,但很難再為 iPhone 6s 的鏡頭而心動。同樣地,我們不是說單鏡頭不能再繼續提升, 但改良鏡頭時所付出愈來愈多的成本、在機身裡所作出愈來愈多的妥協,只能換來攝影愛好者的讚美,但對於一般消費者來說,卻是愈來愈微不足道

故此,廠商必須在最小的犧牲下,為使用者帶來最新的價值。所以,雙鏡頭就應運而生了。

手機鏡頭作為感應器

雙鏡頭的重要性在哪裡?因為它拍出來的不光是「成像」,而是「數據」。

請不要光是把「相機」視作為「相機」,要把它視作為「感應器」,就知道它的潛力所在 ── 有了相機,你可以把平板當成掃描器 (Scanner);也可以把平板當成是擴增實境 (Augmented Reality) 的螢幕。

事實上自手機進入智慧化時代開始,開發者就不斷為手機鏡頭加入「拍照」以外的新功能 : Scanner Pro 會把手機鏡頭當作掃描器 (Scanner),許多軟體也大量把手機鏡頭當成二維碼掃描器,甚至用作行動支付之用;也有程式能把鏡頭用作測距,或是把鏡頭作為 AR 運用。

儘管照相機進入數位化已經有不短的日子,但一直以來手機廠商重視的是「成像」不是「數據」,所以大家的關注點仍然是「光學」。直至 HDR (High Dynamic Range) 流行後,手機廠商才開始採用多重照片合成,來改善相片品質。

蘋果在 2011 年的 iPhone 4s 開始,在 SONY 的 CMOS 以外再自行研發自家的圖像訊號處理器 (ISP, Image Signal Processor),在 iPhone 5s 發佈會中,蘋果展示 iPhone 如何在一次的拍攝中生成海量的照片,再合成最好的照片(下圖)。當中的每一次光學成像,在處理器中已經不再是單純的光學影像,而是數據和算法。

同樣地,雙鏡頭的重要性並不是因為它有雙鏡頭。

單純從硬體來看,雙鏡頭拍出來的成像,極其量就是兩張不同像素的照片,單獨看起來意義不大。但如何發揮雙鏡頭的優勢,關鍵已經不單單是光學,而是合成算法 ── 蘋果近年雖然在人工智慧上默默無聞,但實際上他們早就對此深度研發;剛好在 iPhone 7 的發佈會上,蘋果高層 Phil Schiller 指出,他們在 iPhone 7 的鏡頭裡大量使用機器學習 (Machine Learning)(下圖)。

簡言之,未來手機鏡頭將會步入新的時代:影像算法和人工智慧。

雙鏡頭的「感應器」作用

目前的消費級設備上的雙鏡頭運算,主要以兩種方式為主,一是雙目「疊加」,二是雙目「視差」。

手機的雙鏡頭運算,目前主要以「疊加」來增強攝影功能。HTC One 和 iPhone 7 一樣,均以雙鏡頭為手段,讓手機在沒有變得更厚的情況下,把兩個影像數據對比,然後進行像素疊加,借此達至無損/低損的數碼變焦功能。

而華為在雙鏡頭的處理則有點不同:它們以一個黑白、一個彩色的鏡頭組合,利用黑白感應器有更佳光線感應能力的優勢,再把彩色鏡頭的色彩訊息疊加,借此取得更好的低光拍攝能力。不過,兩者都可以把不同焦距的效果疊加,然後讓使用者能在後期調整景深。

相反,目前不少非手機設備的雙鏡頭運算,卻是以「視差」來測距,借此進行 3D 建模。目前的體感遊戲設備、VR 設備、以致無人機和無人駕駛汽車的自動避障功能,均過雙鏡頭攝影機透過鏡頭之間的距離,使影像出現「視差」,然後再把兩個不同的影像數據對比,用三角算法計算出鏡頭與對像之間的距離(下圖),並即時繪畫立體影像,借此渲染虛擬影像、或計劃安全的行駛路線。

然而,由於 VR/AR 技術、以及自動避障技術愈來愈流行,導致早前不少媒體誤以為 iPhone 為首的雙鏡頭陣營,將會把手機帶到 VR 世界裡。

問題是「雙目疊加」和「雙目視差」的設備,在目前的科技下仍然是個矛盾命題:雙鏡頭的兩個影像的差距愈少愈好,系統才能更準確的把影像無瑕疊加,故此,兩個鏡頭必須盡量靠攏在一起;但 VR/AR 所用的雙目視差,兩個影像必須有夠差距,兩者之間的夾角才能增加,運算精度才能提高,所以兩個鏡頭之間的距離必須愈遠愈好。

除了是雙鏡頭距離之間的矛盾之外,目前使用雙目視差來進行 3D 建模,所需要的計算能力遠遠比影像疊加要高。大疆 Phantom 4 就以專門的 FPGA 來進行雙目運算,而 HTC Vive 更需要高端桌面電腦來能推動,而坊間大部份的無人駕駛汽車也要使用「核彈頭」級別的專門圖像處理器來計算。但以目前手機晶片的處理速度和手機的續航力來說,根本不足以進行 3D 建模。

簡言之,iPhone 在短期內,不可能透過雙鏡頭做到任何與 VR/AR 有關的事。

但是這代表蘋果「未來」真的不可能透過相機頭加入 VR/AR 陣營嗎?我們並不知道。但是,蘋果 CEO 庫克對 VR 和 AR 兩者,他們更重視的是 AR。而 AR 正是需要大量使用鏡頭作感應器的交互方式。

也許 iPhone 在今天的水平仍然不足以在 AR 做些什麼事,但蘋果在 iPhone 7 上開始,累積雙鏡頭的算法,等候幾年後的硬體爆發時,就可能是時候了。

手機攝影將會進入新時代

雖然如此,也許目前的科技未能協調兩者的矛盾,但在雙鏡頭的帶領下,未來手機攝影仍然不可避免的進入「智慧」、甚至是「電腦視覺」的時代。

製造手機的時代已經改變,手機廠商將很難光以強大的供應鏈能力,以採購元件和把開源系統稍稍改進,就能推出手機。所以,沒有算法和人工智慧技術的廠商,將會愈來愈吃虧。

蘋果也是一樣。iPhone 7 Plus 的虛化效果比起先前引入雙鏡頭的手機廠商來說還不錯,但從攝影師的角度去看,這些照片(下圖)距離相機還是有很長的距離。而且與通過光學效果實現虛化相比,蘋果在現階段的數位算法還不能達到這個水平。

很明顯,蘋果在這方面還有很長很長的路要走。

同樣地,相機元件廠商未來也要面對巨大的挑戰。以往只提供硬體平台的他們,將要進一步提更完善的相機算法方案,更可能要與手機晶片製造商合作,把計算能力和影像計算整合,並為未來的手機元件產業帶來更大的衝擊,就例如高通 (Qualcomm) 就準備好雙鏡頭模組方案,手機廠準備打開錢包買新組件吧。

且讓我們拭目以待,這一次的雙鏡頭革命會如何改變手機生態吧。


AWS 免費線上研討會,幫助企業掌握 2022 關鍵技術「AI/ML」、加速創新之旅

AWS 於 2022 年 2 月 23 日與 3 月 4 日下午舉辦「人工智慧/機器學習」系列研討會。線上研討會(AWS Web Day)將分享 AWS 的實務經驗與技術結晶,實作工作坊(AWS Workshop)則有專家帶領實作。講座準備有獎徵答,參加即可抽 100 元美食外送平台抵用券。
評論
Photo Credit:AWS
評論

為了有效預測、加速企業決策,愈來愈多企業重視人工智慧(AI)、機器學習(ML)發展,期能借助 AI 的技術能量,為商業提供解決方案。為了協助企業搶得市場先機,AWS 將於 2022 年 2 月 23 日下午 14:00-17:00 舉辦「人工智慧/機器學習」線上研討會,大方分享 AWS 的實務經驗與技術結晶,提供商業程序最佳化與擴展的靈感,激發企業創新。

在深入了解 AWS 人工智慧/機器學習 解決方案與技術實務經驗之後,對此主題感到躍躍欲試,想更深入了解如何運用亞馬遜雲服務,並且有實機操作的機會者,也能夠報名參加 3 月 4 日 14:00-16:30 於 AWS 辦公室線下舉行的 AI/ML 實作工作坊。實作工作坊將由亞馬遜雲科技資深的 AI/ML 專家實際演示,由淺入深的手把手教學,探索如何構建 AI/ML ,借助雲端和人工智慧實現創新。

線上研討會與實作工作坊皆為免費參加,且講座過程中將進行有獎徵答,參加就有機會抽中 100 元美食外送平台抵用券。

立即報名 AWS 人工智慧/機器學習線上研討會

迎戰 AI 時代!AWS 幫助企業加速創新之旅

AWS Marketplace 具備數百種演算法與模型,目前已有 89% 的雲端深度學習專案在 AWS 上執行,能幫助增進資料科學家的生產力高達 10 倍。因此,為了將 AWS 雲端演算的好處分享給更多企業,在本場 AWS 人工智慧/機器學習線上研討會中,將由 AWS 機器學習領域和 AIoT 物聯網專家帶來精彩主題演講;除了重點整理 2021 AWS re:Invent 年底最新發表的 AI / ML 功能之外,也將分享 AWS Professional Service 的機器學習應用導入實例。

立即報名 AWS 人工智慧/機器學習線上研討會

當日議程包括:

  • 人工智慧(AI)/機器學習(ML)新功能發布
  • AWS AI 服務加速創新
  • ML Ops
  • AIoT 相關新服務+案例分享
  • SageMaker 線上零售案例分享
  • AWS ProServe 加速客戶機器學習應用導入實例

無論是開發人員、DevOps、工程師、IT 專業人員、技術決策者、架構師或任何想要了解人工智慧和機器學習的最新趨勢,以推動組織變革和加速創新的人,都能在這次的議程內容獲得新的見解,以解決商業問題並改善用戶體驗。

AWS 人工智慧/機器學習線上研討會報名須知

  • 本場 AWS 人工智慧/機器學習線上研討會為 2 月 23 日線上舉辦,另有實體工作坊為 3 月 4 日於 AWS 辦公室線下舉行。若有意參加兩場工作坊,須分開報名。
  • 若為首次參加線上研討會,官方網路研討會平台 GoToWebinar 會自動偵測參加者的電腦配置,在加入時自動安裝。若是使用手機登入此活動,則需安裝 GoToWebinar 手機應用程式。

立即探索 AI/ML 的最佳實踐,了解其他組織如何憑藉 AWS 賦予的機器學習和 AI 服務,提高效率並做出更準確的預測,為企業加速創新之旅。

立即報名 AWS 人工智慧/機器學習線上研討會