神秘 Magic Leap One 終於開賣!究竟實現多少體驗 畫了哪些大餅?

終於等到了,在發表前外媒受邀進行一系列評測,究竟神秘的 Magic Leap 最終是什麼樣的產品呢?
評論
Photo Credit:Magic leap
評論

本篇來自合作媒體雷鋒網,原標題《Magic Leap One 上手體驗:雖然令人失望,但依然是最好的?》,INSIDE 經授權轉載。

Magic Leap One Creator 版本正式在美國地區發售,售價 2295 美元起( HoloLens 的開發者版本  3000 美元)。

早已經習慣了 Magic Leap 的拖延,好不容易等到他們出貨了,筆者已經沒有激動的感覺。可能是此前的「概念影片」以及 CEO 的推特讓人平白激動好多次吧。

現在, ML One 的硬體參數終於出現了,同時,已經在一個週之前體驗過 ML One 的幾家外媒記者都不約而同發了評測。 

外媒大多都表示不如預期、不如影片效果、不如推特上的吹噓,但是,幾乎都認定 ML One 是現在最好的 AR 眼鏡。

硬體

再重複一下基本結構, ML One 的外形是蒸汽龐克風,採用了分體式的設計,包含  AR 眼鏡  Lightwear,一個 6Dof 把手和一個可以別在腰間的處理器 Lightpack。

在上個月的 twich直播我們已經知道了 ML One 採用 NVIDIA Tegra X2 多核處理器,包含四核 ARM A57 CPU,雙核 Denver 2 CPU和基於 NVIDIA Pascal 的 GPU,具有 256 個 CUDA核心。硬體配置看起來很強大,更具體參數放文末了,讀者可自行參考。

動態聚焦 &光場

談起 Magic Leap 的內容和交互體驗,體育館裡一躍而起水花四濺的大鯨魚、手掌裡栩栩如生的大象、辦公室裡可以躲在桌子腿後面的機器人,這些「概念影片」裡的畫面能一下子躍然眼前。然而,上個月 Magic Leap 在直播裡展示了 ML One 開發者套件的第一個教學內容 Dodg,這個看起來不那麼真實的小怪獸只會拿著石塊砸人。

因此, MIT科技評論記者 寫到:「所以當我今年夏天被要求回到佛羅里達州嘗試 ML One之前,我已經準備好要簽署保密協議以及混淆和非常粗糙的視覺效果。」

The Verge記者 下筆就陳述了自己的失望。當你要描述 AR,首先需要描述一些現實中不可能存在的事物,比如說在一個現代化的辦公室中出現一個迷你的小恐龍。Magic Leap One 似乎就是要完成這樣的使命:讓他相信這個不可能存在的東西。然而當上個月當  Magic Leap 邀請他去總部時,一切並不像他所期望的。

雖然 MIT 科技評論記者和 The Verge 記者都認為 ML One 是目前最好的 AR 眼鏡,但是 The Verge 記者表達的失望看起來要多一些。

Magic Leap 一直以自己逼真的光學效果著稱,希望能還原現實物體的光線,帶給人眼自然的感受。當大家批評直播中的 Dodg 看起來不逼真時, CEO Rony Abovitz 還特意發推特說, 2D 的影片展現不了光場效果,只有佩戴上眼鏡才能感受到,那麼實際表現如何呢?

MIT 科技評論記者描述到,當她佩戴上 ML One,她看到海龜在房間裡飛來飛去,戳它們的時候還留下了小小的氣泡,她還開槍射擊了從牆上出來的機器人。總而言之,視覺效果清晰生動,在某些情況下,我能夠同時看到幾個位於不同深度的數位影像。

Magic Leap 沒有向 MIT 科技評論記者解釋其光學原理,只說了個大概,基本上,光線透過 AR 頭顯內建的波導片,波導片將光線引向人眼,以這樣的方式創造了一個光場的數位模擬,所有光在一定體積的每個方向上傳播。 Abovitz 說,使用 ML One,用戶應該能夠從近距離清晰地看到 3D 影像,在遠處也一樣。”

Magic Leap 的光學是其最為晦澀的部分,也是最核心的部分。在此前的光波導文章中,人眼能看到物體是因為接收了物體從各個角度發射的光,人眼會根據物體的遠近來調節焦距,產生深度資料,形成 3D 立體效果。現在的 VR/AR 大多數採用的左右螢幕提供不同的像,利用雙目視差形成 3D 效果,這樣會產生視覺輻輳調節衝突( VAC現象),帶來眩暈的感覺,同時,虛擬影像是沒有深度資料的。

從 MIT 科技評論記者的描述看來,確實有不同的深度,但是她添加了限定詞,「在某些情況下,也就是說這個效果目前還不穩定。」 The Verge 的記者也談到了這一點:「 Magic Leap 理論上具有多個焦平面,使得眼睛觀看虛擬物體的方式比其他 MR 眼鏡都更自然舒適,但是由於這些圖像對我來說不夠真實,無法判斷它的效果如何。」

Magic Leap 的光學部分還有一點值得注意就是,其如何還原物體表面各個方向的光線?這一點,已諮詢了上海科技大學虛擬實境與視覺計算中心(VRVC)曹煊博士,在他看來,如果是多層光波導是可以實現這個效果的。但是,具體的技術依然不得而知。

Magic Leap 稱其光波導為「光子晶片( photonics chip)」。這些晶片是在位於弗羅里達的 Magic Leap 總部,前摩托羅拉工廠生產的, Abovitz 表示, Magic Leap 可以在現場舒適地生產數以千萬計的晶片。光波導晶片以難以量產號稱,看來, Magic Leap 也攻克了這個問題。

Magic Leap 放棄其宣稱可以實現強大光場效果的光纖掃描成像技術是最大的失望點,多層光波導目前雖然領先,卻似乎不是一個足夠「未來感」的技術方案。 Magic Leap 的視角也讓人不夠滿意,在上週,工程師透露, Magic Leap 的水平視場角為 40度,垂直 30 度,比 HoloLens 大一點,卻完全無法達到虛擬與現實融合所要求的大視角沉浸。

CNBC 的記者談到,「戴著 ML One 有點像透過你視野內的窗戶去看,它並不會將視野放在視線內的所有物體之上,這意味著很難看到與你非常接近的物體或者對於頭顯的視野而言太大的物體。 Magic Leap CEO Rony Abovitz 告訴我,未來的版本將開始解決這個問題,但很難覆蓋人眼的整個視野。」

環境理解 & 物體遮蔽

光學之外,最值得關注的是 Magic Leap 對環境的感應和理解。 

大部分的 AR 都只像是一個透明的影像,不像實際的物體能相互遮蔽,還難以固定在一個平面。 Magic Leap 的辦公室的機器人影片讓大家印象深刻,這個機器人能躲在桌子後面!這首先需要環境感應,頭顯要知道自己的周圍有什麼物體,才能實現遮蔽效果。

MIT 科技評論記者寫到,她體驗了一個名為「Dr. Grordbort's Invaders」的遊戲,她可以朝著機器人開火,也可以運動來躲開他們的射擊,然後她的子彈打到家具或者牆壁上時,會出現悶燒的黑色標記。

從這個體驗來看, Magic Leap 具備不過的環境感應,之前的直播展示出來其實透過平面辨識來確定虛擬 Dodg 出現的位置,看起來不如 HoloLens直接理解空間,不過據專業人士表示,辨識平面和辨識空間的難度是差不多的,由於其頭顯上有多個鏡頭和深度鏡頭,其實現環境感應的方式應該與 HoloLens 類似。只是這次的評測裡面,大家都沒有提到,環境監測是如何實現的。只能看此後更詳細的體驗報導。

MIT 科技評論記者還談到,當這些機器人被擊斃後會掉落到地板上,她仔細觀察,覺得這些機器人看起來還挺堅固的。但她也談到,「有時,機器人從房間裡的沙發後面出現(耳機內建揚聲器的音訊提示我它們在哪裡)。然而,當我試著蹲在椅子後面看它們是否會消失的時候,機器人的形像有點彎曲並且跟著我變動,而不是被家具正確遮擋。”

在去年 12月時, 滾石的記者的測評 裡寫到:「我走過去繞著 Gimble,從不同的角度觀察它,但它仍然靜靜地徘徊在我的視野中,周圍的世界也依然存在,但我無法透過它看到周圍,這就好像它的確有實質的重量一樣,完全不是一個平面的影像。」

在滾石記者的描述下, ML One的虛擬內容 Gimble 是不透明的。

The Verge 的記者稱, 「當佩戴上 Magic Leap 後,我看到了一隻 3D 的恐龍,但當我靠近時,虛擬恐龍的影像會被切割,當有人經過時,可以透過虛擬的恐龍隱約看到人像。頭顯也並不能感受相對距離,並不會出現恐龍被一個人遮擋在後面的效果」

物體究竟能看起來多有質感?或許由於這個體驗或許過於新穎,大家評價標準不一。要親自戴過後才知道。

MIT 科技評論記者還寫到,「還有一些小問題。當我快速搖頭時,視覺效果往往看起來很清晰並且保持不動,但當我四處走動時,它們有時會分裂成紅色,綠色和藍色。 Sam Miller 是系統工程團隊的創辦人和領導者之一,他告訴我這是一個調整不同部分的硬體和軟體的問題。」

介面 &互動

Magic Leap 的定位是打造消費級的 AR 眼鏡,儘管現在先一步推出的是只有開發者能申請的創造者版本,主要的目的是為了豐富應用,也是為了打磨介面和互動。

AR 眼鏡如果想要替代手機,輕鬆直觀的介面和互動必不可少。

Magic Leap 以其硬體而聞名,但是其 1,500 人的公司中也擁有大型軟體團隊, Magic Leap One 擁有功能性作業系統和啟動應用程式套件。

其作業系統是基於 Linux 的 Lumen,看起來像一系列漂浮在半空中的球,附帶一個名為 Helio 的網路瀏覽器 ;帶有全息聊天系統的「社群套房」 ;一個名為 Magic Leap World 的應用商店、圖庫、用於固定和觀看虛擬螢幕的系統,以及來自新西蘭特效工作室 Weta Workshop 的蒸龐克射擊遊戲「Dr. Grordbort's Invaders」的示範影片。 

如果可以把所有資訊直接顯示在你眼前,你還會冒著頸椎病的風險選擇低頭刷手機嗎?手機的大螢幕是一個偉大的發明, AR 眼鏡的互動則是手勢、語音等方式。

從直播的 Dodg 內容來看, Magic Leap 可以辨識多種手勢姿勢,在互動上面下了不少功夫。

還有一些細節。 Magic Leap 有兩個不同大小不同瞳距的版本,沒法直接帶著近視眼鏡,但是佩戴起來很舒適。像所有混合實境公司一樣, Magic Leap 最終希望製作一副可以隨處佩戴的普通眼鏡。目前,耳機只能保證在室內工作,它包括藍牙和 Wi-Fi 天線,但沒有行動數據選項。 AT&T 已經承諾出售具有無線數據計劃的未來版本,而 Abovitz 表示您可以在外面使用當前版本「風險自負」。「我們想教人們如何開始過這樣的生活。你不會突然想讓人們穿過街道」他說。

最大挑戰:內容

如果之前 Magic Leap 不畫下那麼多的大餅,他們現在會不會更被看好?但是,轉念一想,如果他們當時不畫大餅,哪兒來錢從零開始做起?沒有錢如何赶超比他們領先幾年的 HoloLens,吹牛逼說要實現大的飛躍,最後做出一個只比 HoloLens 好一點的產品。

The Verge的記者寫到:「雖然從其他各個方面, Magic Leap 已經是我體驗過的 AR 頭顯中最好的一個,也比透過蘋果手機的螢幕去看 AR 模型的效果強很多,但是這絕對不是 Magic Leap 所吹捧多年的重大飛躍,它只是比現有的產品好一些而已。 Magic Leap 所獲得的資源明顯與其所產生的產品不相符。」

她也談到, Magic Leap 現在最大的限制可能是其內容。很多 ML One 中的內容都在不斷揭露技術的局限,比如,一些內容是關於水下體驗,可由於視場角不夠大,無法得到這種體驗。到目前為止,也沒有任何內容真正達到科幻場景級別。

蘋果發表 ARKit 時,也發表了一系列的操作說明,給出了很多的限制。在這些限制之後,開發者已經很難開發爆款 AR 應用程式,這是 ARKit 發表接近一年還沒有普及的原因。

Magic Leap 亦然。內容和硬體的結合是 Magic Leap 和開發者要共同探索的事情。但是, MIT 的記者寫到,「 Magic Leap 現在面臨著巨大的挑戰:說服開發人員為一種新的計算方式製作引人注目的內容,而如何去實現這一點,我的感覺是公司本身並不知道答案。」

目前, Magic Leap 官方放出了幾款內容:《Invader》就是射擊機器人的遊戲;《Tonandi》中有大量奇異視聽內容,可以根據音樂來創造視覺效果;《Create》是一款創作類內容,用戶自定義虛擬場景和物體;《Social》是社群應用程式,可以自定義頭像,支援多人互動。

繼續畫大餅

 在邀請媒體體驗時, CEO Abovitz 又接著畫了一些大餅。比如, Magic Leap 以後會有「生物指標」( biomarkers)功能,AR 頭顯能感應你的呼吸、心跳、嘆氣以及其他生命徵兆。

其次, Magic Leap 還想以一些非常奇怪的方式改變我們與電腦的關係。他們正在致力於雙 AI 助理,一個用於執行低階任務,一個與人類和平相處。 Abovitz 介紹到:「如果你違反了條款和條件,而且你對 AI 非常粗魯,我們的一般思維過程就是你可能會失去訪問權限,而你可能不得不重新獲得訪問權限。」

顯然, Magic Leap 在探索 AR 與 AI 的結合。 AR 其實更多的是輸出,而 AI 才能解決輸入,才有一個完整的互動體驗,這也是其他公司正在做的事情。

最後, Abovitz 認為:「無論如何, Magic Leap 還是會比大多數人想像的要酷」

附 Magic Leap One Creator 版本 詳細參數:

Magic Leap One Lightpack

CPU:英偉達 ParkerSOC;2 個 Denver 2.0 64 位內核 + 4個 ARM Cortex A57 64 位內核 (應用程式可用 2 個 A57 和 1 個 Denver)

GPU:英偉達帕斯卡;256 個 CUDA 內核 ;

圖形 API:OpenGL 4.5,Vulkan,OpenGL ES 3.3+

記憶體:8 GB

容量:128 GB(實際可用存儲容量 95GB)

功率:內建可充電鋰離子電池;連續使用長達 3小時;續航力根據使用情況而有所不同; 45 瓦 USB-C PD 充電器

連接:藍牙 4.2, WiFi 802.11ac/b/g/n, USB-C

Magic Leap One Lightwear

音訊輸出:板載揚聲器和 3.5mm插孔,帶音頻空間化處理

音訊輸入:語音(語音到文本) +真實世界音訊(環境)

Magic Leap One Control

觸覺: LRA 觸覺設備

追蹤:6DoF(位置和方向)

LED:帶擴散器的 12-LED(RGB)環

功率:內建可充電鋰電池;連續使用長達 7.5 小時; 15 瓦 USB-C 充電器

其他輸入: 8位解析度 Trigger Button;Digital Bumper Button;Digital Home Button

延伸閱讀:


NEC 以專業的生物辨識驗證技術,為人類生活打造更準確又安全的身份識別方式

NEC 具有多重比對臉部檢測法、攝動空間法、適應領域混合比對等先進技術,讓辨識更準確又快速,不但多次奪下美國國家標準暨技術研究院(NIST)評鑑第一名,在一對多的人臉辨識速度上也是業界之首。
評論
Photo  Credit:NEC 台灣政府公共解決方案事業群群總經理張裕昌
評論

你有沒有在機場使用過 e-Gate 快速通關系統呢?這種利用生物特徵的辨識技術既方便又安全,早在幾年前就已經是很多政府機關使用的成熟技術,讓我們跟著生物特徵辨識領導廠商 NEC 一起瞭解這種技術的原理吧。

生物辨識面面觀

身份辨識是電腦資安領域中很重要的一環,過去我們常常使用「知識辨識」方式來辨識使用者身份,但是使用輸入密碼的方式可能會被忘記,或是容易被破解的問題。至於「持有物辨識」是某種 USB 加密鑰匙,雖然可以省下記憶密碼的麻煩,但也有機率會不小心遺失。

生物辨識則是利用身體上獨一無二的特徵進行驗證,具備唯一性且不易盜用的先天優勢。其實這也不是很新的技術,早在數千年前人類就開始使用生物辨識,比如我們出門看到隔壁鄰居的臉,就能認出他是老王,這就是生物辨識的概念;但是要教會電腦辨識生物特徵,可就不是這麼簡單的事了。

生物辨識驗證領域全球領導廠商 NEC 從 1970 年代便開始研發指紋辨識、掌紋辨識和人臉辨識等技術。目前除了上述技術之外,NEC 也已開發出虹膜辨識、語音辨識,以及原創的耳道聲波辨識技術,這些獨特且高度準確的生物辨識驗證技術解決方案在全球各地都有實際應用的經驗。

NEC 將這些生物辨識驗證技術以「Bio-IDiom」品牌運用在各式應用中,並且以有效的組合運用這些技術,從而打造出「任何人都能安全無慮地使用數位內容」的世界。

NEC  在生物辨識驗證技術有 50 多年的經驗與龐大的研發團隊,並且具有多項領先技術。/Photo  Credit:NEC

領先業界的人臉辨識技術

以人臉辨識技術為例,它是透過攝影鏡頭補捉人臉的畫面,並透過電腦分析臉部各個特徵點的資訊,來判斷受檢人員是不是與登錄的資料相符。

人臉辨識技術有許多優點,由於人臉是平常人們用來判斷對方身份的方法當中最自然的一種,所以使用者的心理負擔很小,使用過程中也無需動手操作,而且一般攝影機就可辨識,讓建置更快速且低成本。此外它還具備有效防止弊端的特色,例如辨識的時候系統能夠留儲「臉部影像記錄」,讓管理者可以目視確認是否相符。

NEC 具有多重比對臉部檢測法、攝動空間法、適應領域混合比對等先進技術,讓辨識更準確又快速,也能在人臉被遮蔽或影像不清楚的情況下正確辨識,不但多次奪下美國國家標準暨技術研究院(NIST)評鑑第一名,在大規模一對多的人臉辨識準確度上也是業界之首。

生物辨識有使用方便、不易被盜用的優點,近年的應用越來越廣泛。/Photo Credit:NEC
除了人臉辨識之外,NEC 也有多種不同的生物辨識驗證技術可以交互搭配使用。/Photo  Credit:NEC

奧運史上首次使用人臉辨識入場

NEC 為 2020 東京奧運和東京帕拉林匹克運動會(Tokyo 2020)成功提供人臉辨識系統,為奧運的安全、可靠和高效舉辦做出貢獻。NEC 台灣政府公共解決方案事業群群總經理張裕昌在訪談中表示:「NEC 提供的臉部辨識系統,用於驗證運動員、工作人員、志工和其他比賽相關成員的身份,當他們進入奧運和帕運選手村、國際廣播中心(International Broadcasting Center, IBC)以及主新聞中心(Main Press Center, MPC),系統會自動進行臉部辨識。該系統為 NEC 生物辨識驗證技術『Bio-IDiom』的核心技術,採用準確度世界第一的臉部辨識技術。」

NEC 提供的臉部辨識系統,用於驗證 2020 東京奧運和東京帕拉林匹克運動會運動員、工作人員、志工和其他比賽相關成員的身份。/Photo Credit:NEC

One ID 帶來更便利的生活

機場是有高度安全考量的場所,因此無論在航空公司櫃台報到、海關查驗、登機口查驗,甚至在免稅店購物都需要旅客出示護照以確認身份,不但過程相當耗時,同時也增加了經常拿進拿出而遺失護照的風險。

以 NEC 提出的 One ID 解決方案為例,旅客只需要登錄其臉部影像,就能在機場辦理與進行各種手續,例如報到、托運行李、安檢、登機等,而不需要出示護照與登機證,不僅能加速程序的進行,還能達到全程零接觸,降低染疫風險。

全球最大航空公司聯盟星空聯盟(Star Alliance)、NEC 集團及國際航空電訊集團公司(SITA)達成一項新協議,在不久的將來,星空聯盟成員航空公司的飛行常客計劃之客戶,將能在任何參與此協議的機場與航空公司使用生物識別進行身份驗證。/Photo Credit:NEC
NEC 希望透過更多元的生物辨識技術改善人類的生活,透過只要伸出手指就能確實證明兒童身份的指紋辨識技術,就可以不受出生國家或地區左右,建立確實執行給予所有兒童合法出生證明與出生登記的環境,同時也打造兒童在成長過程中必要的、確保享有身為國民應有的公共醫療、教育機會與社會之保障。/Photo Credit:NEC

張裕昌提及,目前 NEC 的技術已經達到相當高的準確度與可靠性,未來的發展重點不再是改善辨識準確度,而是發展更多元的辨識種類,以及透過系統整合的方式,結合多種不同技術,以因應更多差異化的使用需求。

此外張裕昌總經理也特別提到,以 NEC 獨家的嬰兒指紋辨識技術為例,可以克服嬰兒指紋會隨時間變化的問題,有助於協助戶政系統不完善的國家追蹤嬰兒疫苗接種情況,發揮降低夭折比例的功效,為人類社會做出實質貢獻。