【Arm 專欄】 GDC 2022 觀察:以 Armv9、Mali GPU 與優化工具,實現沉浸式手機遊戲體驗

64 位元、更高幀率和以 Armv9 為基礎實現的沉浸式遊戲是未來的趨勢。
評論
Arm 提供
評論

由於行動通訊技術快速演進,行動裝置已經成為主流應用最主要預設的裝置選擇。自照相手機於 2000 年首次亮相以來,每年拍攝的 1.4 兆張照片中,超過 93%是透過手機和平板電腦拍攝,行動裝置占所有 IP 流量由 10 年前的 6% 上升至 58%,超過 90% 的網路用戶經常使用智慧手機登入,也因此以手機作為遊戲平台的玩家日益增多。

更強大的處理器,更高的顯示品質

是什麼推動手機遊戲的發展? 更強大的處理器、尺寸更大、更高解析度的顯示器,以及使單次電池充電更持久的技術,都有助於縮小在遊戲主機與智慧手機之間遊戲體驗的差距。在中國等市場,智慧手機作為主要遊戲裝置的現象很普遍,有助於推動手機遊戲發展,當然,手機上的 AAA 級遊戲內容也不斷增加。

例如,聯發科技旗艦產品天璣 9000 SoC,訴求為下一代高階智慧手機提供更佳更高階的遊戲體驗,為了提升手機遊戲性能其晶片組採用最新的 Armv9 CPU,包括帶來極致性能的Arm Cortex-X2 CPU、3個高性能的 Arm Cortex-A710 CPU核心和4個高效的 Arm Cortex-A510 CPU 核心,以及10個 Arm Mali-G710 GPU 核心。Arm Mali-G710 GPU 引入了一系列的行動繪圖功能,可實現著色(shading)、貼圖(texture)和光線(lighting),甚至協助聯發科技在行動裝置上推動光線追蹤 (ray tracing) 遊戲。

手機遊戲的光線追蹤

所謂的光線追蹤是一種電腦繪圖技術,透過對個別光線在遊戲場景周圍的路徑進行建模來產生更精確的光線和陰影以提供更逼真的遊戲體驗,正如您在下面影片所見,Bonza 在搭載 Mali-G78 的裝置上運行,利用光線追蹤來產生所有的陰影,在視覺品質上光線追踪技術帶來顯著的差別。

當天璣 9000 於 2021 年底首次推出時,聯發科技為了在高階行動裝置達成最佳的圖形和遊戲功能,在晶片組設計上做了許多努力,其中一項功能是全新的 Vulkan 光線追踪 SDK,使開發人員能夠為 Android 遊戲應用帶來令人興奮的圖形技術和視覺增強,OPPO 已將此功能整合到其天璣版本的 Find X5 Pro 智慧手機上,以實現更逼真的圖形內容。

光線追蹤是運算密集型工作,是行動裝置上最繁重的工作之一,Arm Mobile Studio 藉由在運算密集型遊戲工作負載中執行重要的性能分析,包括光線追蹤內容,提供廣泛的性能數據—就像它為任何其他 Android 內容提供的相同方式,開發人員能查看 SoC 級別發生的情況,包括工作負載對從 GPU 和 CPU 綁定到繪製調用 (draw call)、貼圖查找 (texture look-ups) 等所有方面的影響。

在近期舉辦的 2022 年遊戲開發者大會GDC 2022),是全球規模最大的遊戲開發者聚會,Arm 以基於聯發科技天璣 9000 的旗艦手機新品 OPPO Find X5 Pro 為平台,在其展位(S756)展示開啟或關閉光線追蹤功能對於顯示品質帶來的顯著差異,請觀看以下影片:

Arm 提供

GDC Demo:在聯發科技天璣 9000 驅動的手機上展現光線追蹤功能

雖然行動裝置尚不存在光線追踪的遊戲內容,但能支援光線追踪的新 SoC(如天璣 9000)和智慧手機(如基於天璣版本的 OPPO Find X5 Pro)的出現開始為生態系提供探索光線追踪技術內容之基礎和動力,隨著這些技術的發展和更多的行動裝置提供更多的光線追踪支援和功能,未來將有進一步進展。

手機遊戲優化工具 Arm Mobile Studio

讀者可能好奇,什麼是 Arm Mobile Studio? 簡而言之,它是一套有價值的手機遊戲優化工具,為開發者提供有關於遊戲和圖形性能的早期和頻繁測試,有助於幫助任何遊戲開發者預測和提高手機遊戲的效率。Arm mobile Studio 可以快速識別可以優化的領域,以減少分析時間,還有一個專業版本可以在開發期間易於整合以便對程式庫進行有效的反覆運算,除了免費的除錯和分析工具,Arm 還提供有關 GPU 和圖形基礎知識的培訓和建議,比如 Mobile Magnificence 系列。

Arm Mobile Studio 影片介紹

Arm Mobile Studio 可以分析運算密集型的工作負載,比如光線追蹤內容,此點非常重要,這是因為光線追蹤技術可能消耗大量的電力和能源,透過 Arm Mobile Studio 進行的分析顯示可以提高效率的區域,以便在運行光線追蹤內容時達成更長的遊戲時間。

作為一個性能分析器,Arm Mobile Studio 可以處理最需要運算的手機遊戲工作負載,協助許多遊戲工作室,如 King 的《Crash Bandicoot: On the Run!》遊戲,支援其跨平台遊戲策略,將更複雜的 AAA 遊戲帶往手機。根據 Newzoo 研究報告,在全球主要地區來自 AAA 級手機遊戲的收益正在上升,在中國,此一比例從 2016 年的 42% 增長到 2020 年的 70%,在北美,此一比例從 2016 年的 6% 增長到 2020 年的 33%。

Arm 和夥伴開發光線追蹤功能

正如之前與光線追蹤相關的文章所提,Arm 正在持續提升我們 Mali GPU 產品的光線追蹤功能,目前 Mali-G710 已經支援基於軟體的光線追蹤,預計未來 GPU 發布會有更多的光線追蹤技術。Arm 在GDC 2022 展示的合作夥伴— OPPO 和聯發科技,對於光線追蹤技術的未來以及它在行動裝置上提供更身臨其境和更逼真遊戲體驗的能力感到興奮。

聯發科技無線通訊事業部技術規劃資深總監李俊男表示:「聯發科技手機 SoC 天璣 9000是為了包括手機遊戲在內的完整旗艦體驗而設計的,其光線追蹤功能可以在行動裝置上提供更先進、更逼真和更具沉浸感的遊戲內容。OPPO Find X5 Pro是首款搭載我們旗艦產品天璣 9000 晶片的行動裝置,可充分滿足終端使用者和科技愛好者對新一代旗艦移動平台的期待。」

OPPO 美國研究中心圖形產品負責人 Jane Tian表示:「Arm Mali GPU 和聯發科技的天璣 9000 SoC 將顯著提高行動裝置上光線追蹤技術的性能。對於手機遊戲產業來說,實現光線追蹤無疑是一個令人興奮的前景,但在功耗受限的裝置上執行即時光線追蹤非常具有挑戰性,OPPO 將與 Arm 及聯發科技共同努力,繼續致力於圖形技術的研究與研發,我們將進一步擴展遊戲生態系統,共同推廣行動光線追蹤技術,為開發者和用戶提供最極致的手機遊戲體驗。」

硬體 API 與優化工具—自適應效能(Adaptive Performance)

在此同時,軟體開發商正將他們 32 位元的遊戲移植為 64 位元,這種快速轉變可以將性能提高 20%,幀率提高 16% 以上。Arm 擁有自己的優化和性能分析工具,例如前述提到的 Arm Mobile Studio,意味著開發人員可以確保其遊戲應用的性能和效率最大化。此外,發行商也正利用硬體 API 和優化工具的優勢,例如 Arm 與全球 75% 的遊戲開發者都在使用的遊戲引擎公司 Unity合作,採用其推出的套裝產品自適應效能 (Adaptive Performance) 工具,有效地動態調整遊戲和改進其內容,並在個別基礎上達成功耗與性能的平衡。

2022 年遊戲開發者大會中,Arm 透過自家開發的 AAA 級遊戲大作《Arm 博士的驚奇冒險》(The Amazing Adventures of Dr. Arm),展現自適應效能技術。這是一套中世紀動作/冒險類角色扮演的 AAA 級大作,玩家在遊戲中與僵屍、骷髏人及鬼魂戰鬥,《Arm 博士的驚奇冒險》的創意源自 Mali Manga 漫畫,由於漫畫大受歡迎,Arm 決定製作此款遊戲。

Arm 提供

GDC Demo:在智慧手機上展現自適應效能技術

觀看上方 Arm 在 GDC 大會的現場演示影片可以發現,在內建的遊戲場景,隨著遊戲複雜度提高高,效能會進行調適而不會過熱降頻,現場兩部智慧手機都是由聯發科天璣9000 驅動的 Oppo Find X5 Pro 智慧手機,一台開啟自適應效能技術,一台關閉,以展現自適應效能的效益,包括發熱較低、更少的過熱降頻與更順暢且持久的遊戲效能。

自適應效能可以讓開發人員針對遊戲進行微調,改善整體效能,特別是打造包含複雜工作負載遊戲的開發人員,原因是任何的效能問題都會影響遊戲歷程,並讓裝置的電池電力流失,藉由此工具很快找出問題所在,並把對遊戲開發作業帶來的衝擊降至最低,可以節省時間、成本,或許更重要的是,可以更快的將遊戲送到終端用戶手上。

自適應效能提供一些開機即用的功能,能顯示遊戲如何對不同的行動裝置反應,目前仍只能在三星 Galaxy 行動裝置使用,例如基於 Arm CPU 與 GPU 技術的高階智慧手機 S21,不過,Unity 正在研究將此技術擴展到所有使用 Android 12 作業系統的行動裝置之可能。如同這篇 Unity 部落格的描述,自適應效能使用四個關鍵的度量來微調遊戲應用,並以受控的方式提升效能,包括:

  • 根據前面圖像計算的期望幀率
  • 裝置的溫度等級
  • 裝置與熱事件的接近度
  • 受 CPU 或 GPU 限制的裝置

此外,自適應效能內部還有不同的設定值,可以監控裝置的發熱與功耗狀況,以及它如何對不同的遊戲做出反應。

首先,自適應效能與裝置模擬器的整合,意味開發人員可以直接測試各種場景,而不是在進行基準測試前先等裝置預熱,有了裝置模擬器中的溫度設定,開發人員可以把裝置設定在過熱降頻,或是在即將出現過熱降頻前發出警告,開發人員也可以把等級與趨勢調為正向,指出裝置正在發熱或甚至已經過熱,此點相當重要,原因是過熱降頻或過熱會影響遊戲的效能、限制遊戲的時間,並導致不順暢甚至惱人的遊戲體驗。

其次,自適應效能內的效能設定,可以讓開發人員針對 CPU、GPU 或目標幀率設定任何的瓶頸值,開發人員也可以設定 CPU 與 GPU 等級來模擬他們遊戲效能的頻率,這有助於確認所有遊戲的效能問題。這兩種設定都會影響自適應效能如何透過索引子(Indexers)與定標器(Scalers)改變遊戲效能,索引子是一套可追蹤裝置發熱與效能狀態的系統,並提供量化的品質索引,另一方面,定標器則代表遊戲內的個別功能,例如圖形與物理學的設定,欲進一步瞭解自適應效能技術,歡迎閱讀 Unity 部落格

加入 INSIDE 會員,獨享 INSIDE 最精采每日趨勢電子報,未來還有會員專屬內容。 點擊立刻成為會員

責任編輯:Mia
核稿編輯:趙正瑋

延伸閱讀:



圖解智慧國家四大關鍵科技,從不同角度帶你了解台灣的科技應用實力

大家都知道台灣有座半導體護國神山,也聽過許多媒體對台灣科技實力的盛讚,但台灣的科技實力到底強不強?我們從四個面向帶你看台灣作為「智慧國家」到底有什麼實力!
評論
評論

大家都知道台灣有座半導體護國神山,也聽過許多媒體對台灣科技實力的盛讚,但台灣的科技實力到底強不強?自己說不如讓國際單位做的調查更客觀顯示。瑞士洛桑管理學院(IMD)每年9月公布的世界數位競爭力(World Digital Competitiveness Ranking)評比,最近一次報告2021年台灣在全球64個主要國家及經濟體當中排名第8,獲得歷年來最佳名次。

而且值得關注的是,支持數位競爭力的核心要素之一,也就是「科技」競爭力。IMD評比報告揭露台灣拿下全球第2的佳績,從2018年的第11名年排名持續上升,顯見台灣無愧於科技強國之名。


科技小百科:
瑞士洛桑管理學院(IMD)是一個長期研究國家與企業競爭力,在國際上具盛名及公信力的評比機構,並自1989年起發布「世界競爭力年報」World Competitiveness Yearbook,其評比報告與調查結果更是各國政府擬定相關政策之參考。IMD每年會定期公布兩份競爭力評比報告,其一是「世界競爭力年報」,每年在6月公布,2022年台灣在63個受評比國家中排名全球第7名。另一份報告為「世界數位競爭力評比」World Digital Competitiveness Ranking,每年在9月底公布,本篇文章引用的資料為這份兩份研究。


也因為科技與國家發展息息相關,有哪些技術是台灣不為人知的優勢?或是未來產業可大力投資布局的領域?我們找出其中四大項與智慧國家最有關的科技,展現台灣具備強勁的科技能量,或許你已經受惠,也或許你能從其中找到發展的機會。

關鍵科技一、融合海陸空領域的多維通訊

隨著國家管理範圍逐漸擴大,通訊範圍多元且彼此關聯,相關科技如低軌衛星、5G通訊、海底電纜等,形成環環相扣的多維通訊聯網。

仔細洞察2021年的IMD報告,台灣在「行動寬頻的用戶比例」這項指標,拿下全球第1的傲人成績。顯見台灣在通訊基礎建設的投資及普及率,是走在全球領先位置。

尤其5G/6G關聯科技更是未來多維通訊的具舉足輕重的地位,原因是5G衍生的價值鏈相當廣泛,舉凡從晶片、模組、終端、邊緣、系統、到應用服務,可形成完整生態圈。為了強健台灣5G專網的自主技術與供應鏈,從2018年先後成立5G產業發展聯盟、5G垂直應用聯盟、以及5G Open Networking平台,逐漸形成5G國家隊。

除了把5G領先國視為戰略目標,當創新技術落地,更能帶來龐大商機。根據工研院的預估,將5G的小基站、邊緣運算、網路虛擬化等關鍵產品、模組、元件加總起來,2025年的市場規模上看2,510億美元(約新台幣7.5兆元),其他國家還在積極推動5G聯網建設,顯見相關商機仍有相當大發展空間。

關鍵科技二、新型態數位經濟與網路服務

邁向Web 3.0的交叉點,元宇宙被視為下一代網際網路的新機會,市調機構Gartner預測,2026年全世界將有25%的人口,每天至少有一小時投入元宇宙虛擬世界,進行工作、社交、教育、購物、娛樂等活動,並藉由虛擬貨幣、NFT進行數位資產的交易,虛擬經濟逐漸成形。

所謂元宇宙,需要以5G/6G高速網路為基礎,透過VR頭盔/眼鏡作為進入3D虛擬世界的載體,在元宇宙的各種互動體驗則需仰賴AI運算、雲端/邊緣儲存、區塊鏈等核心技術支援。人們在元宇宙內可以滿足從現實世界做不到的事情,形成穿梭虛擬、現實之間的生活體驗與商業模式。

近七成投入元宇宙相關應用的企業,認為元宇宙在未來5年一定會蓬勃發展,虛擬音樂會、虛擬時裝秀、媒體及產品聯名展示活動,將是元宇宙優先發生的商業體驗。

那麼台灣要投入元宇宙有何利基?解析元宇宙供應鏈版圖,主要可分為晶片、光電、通訊、AR/VR裝置、內容以及AI技術,台灣科技可從硬體方面,包含晶片、感測IC、光學零組件、伺服器等擅長領域切入。像是大家熟知的半導體大廠台積電,對於相關晶片的供應就至關重要,另外光電產業也有揚明光、玉晶光、中光電等企業,讓投影技術更精緻,再來連接元宇宙的通訊技術,也有聯亞來支援,而裝置軟硬體、AI技術則是有創意、世芯、智原等企業投入,最後想到AR/VR集大成者,就不能遺漏宏達電在這一塊的耕耘,同樣威盛電、佐臻、未來市(XRSPACE)等品牌也積極佈局,可見台灣已有完整的供應鏈,接下來有志於加入元宇宙的廠家,不妨從自身的專長去思考,相信不論是哪個領域的企業,都能有更多的創新、應用內容投入,完善整個元宇宙生態。

關鍵科技三、疫後時代興起的智慧型代理人 

近年因疫情持續延燒,越來越多領域開始導入「智慧型代理人」,像是零售業者引進半自動化機器,協助人力處理訂單、點餐;又或是醫院使用機器人,藉由AI辨識功能分擔部分醫護工作。

所謂智慧型代理人,以它所知的知識範圍內,自主完成人類所給予的指令任務。智慧型代理人發展至今,能協助人類的廣度、深度越來越多,主要是受惠機器學習的技術更為先進,加上其他的自動規劃、互相協調等演算法的成熟,讓智慧型代理人成為下一波產業發展重點。

世界先進國家紛紛把AI納為國家產業重要發展策略,台灣從2018年就推出「台灣AI行動計畫」,全面啟動產業AI化。發展至今,AI應用已從測試階段逐步應用於各式產業,資策會統計發現,掌握AI技術的新創企業在台灣有300家,逐漸摸索出不同的商業策略與獲利模式。

尤其資通訊、醫療照護是台灣兩大擁有頂尖人才的雙軸產業,在疫情之下,就可以看到醫療+科技所衍生的智慧型代理人應用。像是過去為了解決醫療量能不足,開發「5G智慧防疫機器人」,用來隔離病房消毒、運送餐盒及藥品物資,比傳統人力消毒方式有效節省50%時間,還能降低醫護人員感染風險,讓醫事工作更有效率。

關鍵科技四、資訊安全網保護每個人數位資產

我國面臨網路犯罪、駭客入侵政府、機關,甚至竊取個人資料事件持續增加,如何保護國民安心使用數位科技、保障財產安全將是未來重要方向。隨著AI普及所衍生的龐大資料量之隱私及資安問題,成為棘手的挑戰。從國際AI資安發展現況來看,歐盟在2021年提出人工智慧規則草案(Artificial Intelligence Act),鼓勵值得信賴且道德的AI進行研發與應用。微軟更在今(2022)年禁止提供AI推測情緒技術,並制定「負責任AI標準第二版」、Google則停止AI機器人具有自我意識、能與人類溝通等爭議事件,這些做法也都反映美歐在立法之際,業者也在努力自行節制敏感AI技術。

AI資安,是挑戰也是機會。未來,台灣政府與企業也須密切關注美歐相關草案的立法動態,找出AI規範的共同點,以此界定使用AI產品與服務之要求;因此,AI資安不僅需透過科技來防禦,更需要治理與法規,降低AI所帶來的衝擊。

另外,針對5G資安議題,台灣有展開大型科技防禦策略,包含5G資安防護系統、跨機關資安聯防。5G資安防護系統致力確保業者使用的5G系統具備安全、可靠、信賴,與國內5G專網業者進行服務驗證,以強化國產5G系統的整體資安防護能力。跨機關資安聯防的目標放在建立政府與民間的資安聯防體系,藉由橫向整合跨部會,全面提供威脅情資,減少機關隱匿資安事件,降低事件誤報與漏報。

持續提升台灣的科技能量 打造全方位的智慧國家

圖片資料來源:IMD 2022 世界競爭力年報

台灣的科技能量持續提升,從2022年的IMD世界競爭力年報可發現,而且該報告還指出我國擁有高素質勞動力、經濟活力、企業治理能耐、高教育水準等優勢。上述四項與智慧國家高度關聯的新興科技,涵蓋「數位基盤、數位創新、數位包容」等元素,如何借助科技打造創新、包容的社會,在台灣強勁的科技應用產業鏈上,補強創新的能量,並延續發展優勢項目,將是台灣要持續努力的方向。

了解更多智慧國家方案
看更多智慧國家相關報導

行政院科技會報辦公室 廣告