【Arm 專欄】適用於延展實境市場的全面運算解決方案

在近期舉辦的「關於元宇宙,科技巨擘的下一步」研討會中,Arm 與夥伴針對元宇宙的機會與挑戰進行了分享,本文將針對適用於延展實境 (XR) 的全面運算解決方案,做進一步說明。
評論
Arm 提供
評論

Arm 在 2021 年 5 月首次推出全面運算解決方案,可應用於智慧手機筆電家庭裝置消費性裝置領域,本文將針對如何將這些高階、高效能與高效率的解決方案應用到 XR 穿戴式裝置市場,做進一步說明。

XR 市場

近期與 XR 市場相關的最大發展是元宇宙的引入,被喻為「網際網路下一代進化」的元宇宙,把真實、數位與虛擬世界融合到全新實境,讓人們可以在其中進行幾乎所有的活動:與朋友及家人聚會、學習、工作、商業會議、購物、創作、玩遊戲,以及目前還未能想像的全新體驗。Arm 是通往元宇宙的門戶,透過 Arm 驅動的閘道消費裝置,像是獨立式的 XR 穿戴式裝置(無論是虛擬實境頭戴式裝置,或未來的擴增實境智慧眼鏡),都將促進元宇宙中非凡的新體驗。

XR 涵蓋擴增實境(AR)、虛擬實境(VR)與混合實境(MR),儘管這三種「實境」都共享相同的重疊性功能與需求,但每一種都有不同的目的與基礎技術。AR 藉由疊加電腦產出的資訊來增強使用者對真實世界的視覺,未來全方位的整體 AR 體驗將透過穿戴式智慧眼鏡達成。這些裝置必須將超低功耗處理器與包括深度感知與追蹤在內等多個感測器結合在一起,所有這些傳感器的外型都必須輕量且舒適,以供長時間配戴。我們看到數款新型的智慧眼鏡已經在 2021 年上市,包括 Snap 推出的 Spectacle 智慧眼鏡、Meta Ray-Ban、聯想的 ThinkReality A3,以及 Vuzix 的 Next Gen Smart Glass。

VR 則完全取代使用者的視野,讓他們沉浸在電腦產生的虛擬環境中,例如由Arm 技術驅動的Oculus Quest 與 Quest 2 等 VR 頭戴式裝置,過去五年內已經在市場上市。這些裝置常用於娛樂體驗,如遊戲、演唱會、電影或運動賽事,但也正在進入社交領域,譬如透過 RecRoom VR 平台進行的虛擬聚會。

MR 則介於 AR 與 VR 之間,它把虛擬的物件、角色或指令疊加到真實的環境中,甚至是反過來,將真實與虛擬的世界合併在一起,最著名的 MR 穿戴式裝置是 Arm 技術驅動的微軟 HoloLens 2,虛擬指令集與圖型疊加到使用者的視野內,以協助企業與工業應用。

XR 穿戴式裝置的運算效能與效率水準,會根據 XR 穿戴式裝置的類型與原本設計要實現之使用場景的複雜度而有所不同。主要供高階遊戲體驗的當代獨立式 VR 頭戴式裝置(如Oculus Quest等裝置)需要高效能的運算;至於像 AR 智慧眼鏡等較小型、輕量的裝置,則需要高效率。在此同時,有些裝置對效能與效率的需求,介於處於兩者之間,例如像 HoloLens 2 等 MR 頭戴式裝置,以及像 HP Reverb G2 等定位為消費性市場的連線 VR 裝置,因此,系統單晶片(SoC)解決方案將必須能夠進行擴充,以滿足不同使用場景、工作負載與型態,而這也是 Arm 全面運算解決方案可以提供協助之處。

XR 穿戴式裝置的全面運算解決方案

Arm 的全面運算解決方案提供全套可擴充的硬體 IP(包括最新的 Armv9 CPUMali GPU系統 IP)、實體 IP 、軟體、工具與各種標準,以便為各種不同的消費裝置市場打造出最佳的 SoC,這些解決方案為各種 XR 穿戴式裝置的特定運算需求提供不同的配置,從高效能的 VR 與 MR 頭戴式裝置,到超高效率的 AR 智慧眼鏡。

高效能 VR 與 MR 頭戴式裝置的配置代表了 Arm 以「效能」為導向的全面運算解決方案,這裡有兩種可能的配置,首先,1 顆 Arm Cortex-X2、3顆 Arm Cortex-A710 與 4 顆 Arm Cortex-A510 的 1+3+4 的CPU配置,可滿足高效能的應用。對於效能需求略低、但需要較高效率的情況,Arm提供 4 顆 Cortex-A710 搭配 4 顆 Cortex-A510 的 4+4 CPU 配置。這兩種解決方案都可以運用高階的 Arm Mali-G710 GPU 或主流的 Arm Mali-G510 GPU 繪圖處理器,來產出高品質的圖型。

Arm 提供

此外,可應用於輕量級 AR 智慧眼鏡的「效率」導向全面運算解決方案,可以運用2顆 Cortex-A710 搭配 6 顆 Cortex-A510 的 2+6 CPU 配置,或甚至使用 4 顆 Cortex-A510 來達成超高效率,這些解決方案可由效率超高的 Arm Mali-G310 GPU 支援。

跟所有的全面運算解決方案一樣,Arm 系統 IP(CoreLink 互聯互通CI-700 與NI-700)為 XR 穿戴式裝置使用的全面運算解決方案中的 CPU 與 GPU 提供紮實的基礎,這兩種互聯互通技術,都提供改進的能源效率與系統效能,進一步在所有的全面運算解決方案提升效率與效能。Arm 全面運算解決方案中的所有 CPU 配置,都利用 Arm 的 DSU-110 把它們結合在一起,而 DSU-110 也是這些 Armv9 架構的 Cortex CPU 叢集的骨幹,可以讓 Arm 的合作夥伴在不同的效能與效率間進行取捨,以應對基於 Arm 技術架構下不同類型的 XR 穿戴式裝置。

CPU

高效能的 VR 與 MR 頭戴式裝置,可以在全面運算解決方案內搭載至少一顆Cortex-X2 ,Arm Cortex-X CPU 確實推進了峰值效能需求,對於像遊戲與其它在 VR 與 MR 頭戴式裝置上進行的娛樂體驗等運算密集的 XR 工作負載,此點非常重要。Cortex-A710 的效能改進有助於對峰值性能的驅動,從而讓所有 XR 穿戴式裝置的電池續航力極大化。對於 XR 穿戴式裝置來說,這是非常重要的考量,因為它支援越來越多使用者拋開連線的束縛以達成更高的機動性,而 Cortex-A510 提供進一步支援以獲得更高的能源效率,促成甚至更久的遊戲體驗。

對於像 AR 智慧眼鏡等此類效率至上的 XR 穿戴式裝置來說,Cortex-A710 與Cortex-A510 CPU 只用於更注重效率的全面運算解決方案中。Cortex-A510 透過 3-wide in-order 設計,提升了20%的功耗效率,還提供領先業界的面積效率,對於小型、輕量的 XR 穿戴式裝置來說這點非常重要。使此設計成真的創新技術是合併的核心微架構,它可以讓兩顆 Cortex-A510 CPU 組合成一個複合體,每個 CPU 叢集則擁有多個複合體。其結果是面積效率獲得提升,而效能點也更高。這種追求效能並結合高度的面積效率,非常適合輕量 AR 智慧眼鏡。

GPU

不同的 XR 穿戴式裝置由不同的 GPU 支援,針對高效能的 XR 頭戴式裝置,我們可以把高階的 Mali-G710 整合進全面運算解決方案中,它可以提升 IDVS 功能的涵蓋,此一功能由於能為每眼渲染出物件位置略為不同的視野,常常使用在 XR 的使用場景中。

Mali-G510 也可以結合至高效能的 XR 穿戴式裝置中,在效能與效率間提供完美平衡,與前一世代的 Arm Mali-G57 GPU 相比,它的效能可以提升 100%,而且可以節省 22% 的能源,讓電池的續航力更長。與Mali-G710的7到16種可配置的著色引擎核心相比,Mali-G510 則可利用到 2 至 6 種配置。不過,它依然結合許多 Mali-G710 的高階功能,像是指令流前端(CSF)、重新設計與額外的執行引擎,以重新設計的紋理單元,以便達成高品質的圖型體驗。除此之外,它還提供各種格式以達成更佳的 HDR 支援性、搭載 Arm 幀緩衝壓縮技術(AFBC)的未壓縮緩衝器,以及全新的 AFRC 以降低使用的頻寬。AFRC 技術對於 XR 穿戴式裝置特別好用,由於它可以用最低的面積成本,保證頻寬與記憶體足跡的降低,將能更提升效能與節能。

Arm 提供

Mali-G310 的設計用意是在最低的面積成本下,達成可能的最高效能,這使得它極為適合應用於 AR 智慧眼鏡的全面運算解決方案。它是 Arm 歷來效能最高的超高效率 GPU,與前一世代的 Arm Mali-G31 GPU 相比,在三個效能領域都有大幅提升:紋理效能(6倍)、Vulkan 效能(4.5倍)、安卓使用者介面內容(2倍)。與 Mali-G510 一樣,Mali-G310 也提供各種規格以達成更佳的 HDR 支援性與 AFBC 未壓縮緩衝器,AFRC 是選用的功能,Mali-G310 提供注視點渲染功能,讓 AR 與 VR 的效果大幅提升,注視點渲染是一種使用眼球追蹤器整合 XR 穿戴式裝置來降低渲染工作負載的渲染技術。

若想瞭解 Arm 全面運算解決方案,請觀賞影片及造訪網頁,瞭解 Arm 如何協助你為關鍵的運算工作負載、使用場景與消費裝置,提升效能。

責任編輯:Mia

加入 INSIDE 會員,獨享 INSIDE 最精采每日趨勢電子報,未來還有會員專屬內容。 點擊立刻成為會員



圖解智慧國家四大關鍵科技,從不同角度帶你了解台灣的科技應用實力

大家都知道台灣有座半導體護國神山,也聽過許多媒體對台灣科技實力的盛讚,但台灣的科技實力到底強不強?我們從四個面向帶你看台灣作為「智慧國家」到底有什麼實力!
評論
評論

大家都知道台灣有座半導體護國神山,也聽過許多媒體對台灣科技實力的盛讚,但台灣的科技實力到底強不強?自己說不如讓國際單位做的調查更客觀顯示。瑞士洛桑管理學院(IMD)每年9月公布的世界數位競爭力(World Digital Competitiveness Ranking)評比,最近一次報告2021年台灣在全球64個主要國家及經濟體當中排名第8,獲得歷年來最佳名次。

而且值得關注的是,支持數位競爭力的核心要素之一,也就是「科技」競爭力。IMD評比報告揭露台灣拿下全球第2的佳績,從2018年的第11名年排名持續上升,顯見台灣無愧於科技強國之名。


科技小百科:
瑞士洛桑管理學院(IMD)是一個長期研究國家與企業競爭力,在國際上具盛名及公信力的評比機構,並自1989年起發布「世界競爭力年報」World Competitiveness Yearbook,其評比報告與調查結果更是各國政府擬定相關政策之參考。IMD每年會定期公布兩份競爭力評比報告,其一是「世界競爭力年報」,每年在6月公布,2022年台灣在63個受評比國家中排名全球第7名。另一份報告為「世界數位競爭力評比」World Digital Competitiveness Ranking,每年在9月底公布,本篇文章引用的資料為這份兩份研究。


也因為科技與國家發展息息相關,有哪些技術是台灣不為人知的優勢?或是未來產業可大力投資布局的領域?我們找出其中四大項與智慧國家最有關的科技,展現台灣具備強勁的科技能量,或許你已經受惠,也或許你能從其中找到發展的機會。

關鍵科技一、融合海陸空領域的多維通訊

隨著國家管理範圍逐漸擴大,通訊範圍多元且彼此關聯,相關科技如低軌衛星、5G通訊、海底電纜等,形成環環相扣的多維通訊聯網。

仔細洞察2021年的IMD報告,台灣在「行動寬頻的用戶比例」這項指標,拿下全球第1的傲人成績。顯見台灣在通訊基礎建設的投資及普及率,是走在全球領先位置。

尤其5G/6G關聯科技更是未來多維通訊的具舉足輕重的地位,原因是5G衍生的價值鏈相當廣泛,舉凡從晶片、模組、終端、邊緣、系統、到應用服務,可形成完整生態圈。為了強健台灣5G專網的自主技術與供應鏈,從2018年先後成立5G產業發展聯盟、5G垂直應用聯盟、以及5G Open Networking平台,逐漸形成5G國家隊。

除了把5G領先國視為戰略目標,當創新技術落地,更能帶來龐大商機。根據工研院的預估,將5G的小基站、邊緣運算、網路虛擬化等關鍵產品、模組、元件加總起來,2025年的市場規模上看2,510億美元(約新台幣7.5兆元),其他國家還在積極推動5G聯網建設,顯見相關商機仍有相當大發展空間。

關鍵科技二、新型態數位經濟與網路服務

邁向Web 3.0的交叉點,元宇宙被視為下一代網際網路的新機會,市調機構Gartner預測,2026年全世界將有25%的人口,每天至少有一小時投入元宇宙虛擬世界,進行工作、社交、教育、購物、娛樂等活動,並藉由虛擬貨幣、NFT進行數位資產的交易,虛擬經濟逐漸成形。

所謂元宇宙,需要以5G/6G高速網路為基礎,透過VR頭盔/眼鏡作為進入3D虛擬世界的載體,在元宇宙的各種互動體驗則需仰賴AI運算、雲端/邊緣儲存、區塊鏈等核心技術支援。人們在元宇宙內可以滿足從現實世界做不到的事情,形成穿梭虛擬、現實之間的生活體驗與商業模式。

近七成投入元宇宙相關應用的企業,認為元宇宙在未來5年一定會蓬勃發展,虛擬音樂會、虛擬時裝秀、媒體及產品聯名展示活動,將是元宇宙優先發生的商業體驗。

那麼台灣要投入元宇宙有何利基?解析元宇宙供應鏈版圖,主要可分為晶片、光電、通訊、AR/VR裝置、內容以及AI技術,台灣科技可從硬體方面,包含晶片、感測IC、光學零組件、伺服器等擅長領域切入。像是大家熟知的半導體大廠台積電,對於相關晶片的供應就至關重要,另外光電產業也有揚明光、玉晶光、中光電等企業,讓投影技術更精緻,再來連接元宇宙的通訊技術,也有聯亞來支援,而裝置軟硬體、AI技術則是有創意、世芯、智原等企業投入,最後想到AR/VR集大成者,就不能遺漏宏達電在這一塊的耕耘,同樣威盛電、佐臻、未來市(XRSPACE)等品牌也積極佈局,可見台灣已有完整的供應鏈,接下來有志於加入元宇宙的廠家,不妨從自身的專長去思考,相信不論是哪個領域的企業,都能有更多的創新、應用內容投入,完善整個元宇宙生態。

關鍵科技三、疫後時代興起的智慧型代理人 

近年因疫情持續延燒,越來越多領域開始導入「智慧型代理人」,像是零售業者引進半自動化機器,協助人力處理訂單、點餐;又或是醫院使用機器人,藉由AI辨識功能分擔部分醫護工作。

所謂智慧型代理人,以它所知的知識範圍內,自主完成人類所給予的指令任務。智慧型代理人發展至今,能協助人類的廣度、深度越來越多,主要是受惠機器學習的技術更為先進,加上其他的自動規劃、互相協調等演算法的成熟,讓智慧型代理人成為下一波產業發展重點。

世界先進國家紛紛把AI納為國家產業重要發展策略,台灣從2018年就推出「台灣AI行動計畫」,全面啟動產業AI化。發展至今,AI應用已從測試階段逐步應用於各式產業,資策會統計發現,掌握AI技術的新創企業在台灣有300家,逐漸摸索出不同的商業策略與獲利模式。

尤其資通訊、醫療照護是台灣兩大擁有頂尖人才的雙軸產業,在疫情之下,就可以看到醫療+科技所衍生的智慧型代理人應用。像是過去為了解決醫療量能不足,開發「5G智慧防疫機器人」,用來隔離病房消毒、運送餐盒及藥品物資,比傳統人力消毒方式有效節省50%時間,還能降低醫護人員感染風險,讓醫事工作更有效率。

關鍵科技四、資訊安全網保護每個人數位資產

我國面臨網路犯罪、駭客入侵政府、機關,甚至竊取個人資料事件持續增加,如何保護國民安心使用數位科技、保障財產安全將是未來重要方向。隨著AI普及所衍生的龐大資料量之隱私及資安問題,成為棘手的挑戰。從國際AI資安發展現況來看,歐盟在2021年提出人工智慧規則草案(Artificial Intelligence Act),鼓勵值得信賴且道德的AI進行研發與應用。微軟更在今(2022)年禁止提供AI推測情緒技術,並制定「負責任AI標準第二版」、Google則停止AI機器人具有自我意識、能與人類溝通等爭議事件,這些做法也都反映美歐在立法之際,業者也在努力自行節制敏感AI技術。

AI資安,是挑戰也是機會。未來,台灣政府與企業也須密切關注美歐相關草案的立法動態,找出AI規範的共同點,以此界定使用AI產品與服務之要求;因此,AI資安不僅需透過科技來防禦,更需要治理與法規,降低AI所帶來的衝擊。

另外,針對5G資安議題,台灣有展開大型科技防禦策略,包含5G資安防護系統、跨機關資安聯防。5G資安防護系統致力確保業者使用的5G系統具備安全、可靠、信賴,與國內5G專網業者進行服務驗證,以強化國產5G系統的整體資安防護能力。跨機關資安聯防的目標放在建立政府與民間的資安聯防體系,藉由橫向整合跨部會,全面提供威脅情資,減少機關隱匿資安事件,降低事件誤報與漏報。

持續提升台灣的科技能量 打造全方位的智慧國家

圖片資料來源:IMD 2022 世界競爭力年報

台灣的科技能量持續提升,從2022年的IMD世界競爭力年報可發現,而且該報告還指出我國擁有高素質勞動力、經濟活力、企業治理能耐、高教育水準等優勢。上述四項與智慧國家高度關聯的新興科技,涵蓋「數位基盤、數位創新、數位包容」等元素,如何借助科技打造創新、包容的社會,在台灣強勁的科技應用產業鏈上,補強創新的能量,並延續發展優勢項目,將是台灣要持續努力的方向。

了解更多智慧國家方案
看更多智慧國家相關報導

行政院科技會報辦公室 廣告