【Arm 專欄】Neoverse 新解决方案發表!助力擴展雲到邊緣的次世代基礎架構

Arm 親自詳解 Neoverse 全新的 V1 平台與 N2 平台,如何增加數據中心效率,以降低電能浪費。
評論
Shutterstock/達志影像
評論

自駕車、智慧醫療裝置與智慧建築物,正逐漸改變我們的生活,但這些應用之所以變為可能,是因為大約每兩年到兩年半手機、伺服器與其它裝置每瓦電所能執行的工作量幾乎加倍。根據 IEA 的資料,以數據中心為例,自 2015 年以來網際網路流量增加 5 倍,數據中心的工作負載幾乎成長兩倍,但受惠於技術的突破,數據中心電力消耗維持在 1,980 億千瓦小時左右。

資料來源:國際能源機構 (IEA), 2015

由於智慧裝置普及使得傳送與處理的資料量增加,根據 Nature 期刊引用 Anders Andrae 的資料,預期至 2030 年數據中心的耗電將占全球總電量需求的大宗,而根據 State of the Edge 2020 報告指出,為了服務新型應用,2028 年需要 102 千兆瓦 (GW) 的新電量。

由於電費往往佔數據中心營運成本的三至五成,但數據中心一個機櫃 (rack) 只能容納有限的電量與熱氣,若非透過增加每瓦工作量來提升生產力,則需建置更大的空間與更多的伺服器,將使數據中心運作遭遇挑戰。

因此,另一個觀察能源效率的方法是評估運算密度,提升運算密度可以提升數據中心可用的資源,降低利用此基礎架構所需負擔的價格。下面這些方法將能提升每瓦效能,以獲得更佳的用電效率與密度,有助城市運作。

資料來源:Nature, 2018

1. 使用更多的核心

過去 15 年來,企業多半以下列方式增加效率 : 改裝建物以提升空氣對流,在機架上放上塑膠片以降低冷卻的預算,移除機架內運作僵滯的伺服器,或以 GPU 與快閃記憶體加速器提升每瓦運作。

另一種方式則是調整數據中心中的伺服器處理器,以大量的高效能運算核心取代少量但運算力強大的核心,也就是使伺服器從較低檔位高轉速 (RPM) 轉變成高檔位較低轉速運作。亞馬遜網路服務公司 (AWS) 的 Graviton2 系統單晶片由 64 個運算核心組成,每個機架上有少則數百個多則數千個核心。

而去年 11 月榮登 Green 500 名單榜首的 Fugaku 超級電腦,內建近 3.7 萬個節能核心可達到每瓦運算效能 16.876GFlops/watts, 2020 年 Fugaku 超級電腦在「高效能共軛梯度」(HPCG) 名單中榮獲最高榮譽,這象徵了當代基礎架構需求重大的演進。此外, Ampere 公司發布業界首款基於 Arm Neoverse N1 平台的 80 個內核 64 位元伺服器處理器晶片 Altra,將 3,680 個核心裝至單一機架裡,比一般多出 2.5 倍。

2. 利用邊緣運算

理論上,雲端架構的數據中心是置放運算負載最具效率的地方,工作負載可以被積極地整併,可用最高效率的設備進行填充。但實際上,雲端只要出現 15 分鐘的電力需求暴增,就可能導致被收取較高的尖峰功率費用,為了避免被收取較高費用,可將負載分散到週邊,而自駕車運作與 AI 驅動的工廠,也需要複雜的邊緣基礎架構。這種趨勢將驅使電信業者與其它公司開發出能夠極大化使用率並極小化功率與網路流量的技術以轉移負載。

在全國或全球性危機中,以雲端為中心還可能導致緩慢的連線速度與資料傳送不穩定。譬如以冠狀病毒大流行為例,CDN 技術服務商 Cloudflare 調查發現,當今年 3 月 13 日周五美國宣布全國進入緊急狀況後,美國數據中心的網路流量 (下圖紅線) 比往常 (下圖灰線) 驟升 20%,由於後疫情時代視訊會議更為普遍,深度邊緣運算的需求將更為提升。

Inria 專案實驗室的報告指出,跟傳統以雲端為中心的數據中心相比,若在分散的伺服器上管理物聯網相關任務,由於能減少網路中繼、降低冷卻負載,以及針對運算資產能做更佳運用,將能減少 14% 到 25% 的耗電量。

資料來源:Cloudflare Blog, 2020

3. 增加 NPU 應用

微神經網路處理技術,以向量延伸、整合積體電路,或是以特別設計用來高效率執行矩陣乘法的專用神經網路處理器 (NPU) 等形式出現。在以 AI 降低從影片與影像擷取洞察所需的資源方面 NPU 技術扮演關鍵角色。今日影片已佔大約 75% 的網際網路流量,由於預期臉部辨識與即時分析的擴展將佔用更多的流量,思科預估到 2022 年,影片流量將成長兩倍,將佔有 82% 的網路流量。

為了持續提升基礎建設效能,Arm 延續其在 Neoverse N1 生態體系之基礎,發布了全新的Neoverse V1 平台與 N2 平台,Neoverse V1 平台極致優化性能,為首個支援可擴展延伸向量指令集(SVE)的平台,與 N1 平台相比提升 50% 以上的單執行緒 (single-threaded) 效能,SVE 允許使用與單元的寬度無關的軟體程式設計模型在更寬的向量單元上執行 SIMD 整數、bfloat16 或浮點指令,透過 SVE 確保了軟體編碼的可攜性、壽命及有效執行,應用上以高性能雲、HPC 和機器學習等市場為主。

而 Neoverse N2 平台則提供了可擴展的性能在維持與 N1 相同的面積與功耗下提升了 40% 的單執行緒 (single-threaded) 效能,能支援多達 192 個核心設計,具有最大的面積運算密度 (TDP/Area) ,可應用於雲端高核心運算、5G 邊緣、企業網路、智慧網卡 (Smart NIC) 、路由器與數據交換器等應用。

Arm 提供

若想要進一步了解 Arm Neoverse 解決方案,歡迎報名 11 月 4-5 日於線上舉辦的 Arm DevSummit,在本場 Arm 最盛大的年度科技論壇中,我們邀請到 AWS、Fujitsu、Arm 等專家為您介紹最新設計、工具、生態系統與應用案例。此外,針對其他主題,我們亦邀請到來自 Facebook、Google、Netflix、福斯集團、高通、凌華科技、群聯電子、阿里巴巴創業者基金等多位重量級講者進行近 40 場技術演講,期待與您線上相見。

核稿編輯:Chris

更多資訊請點此報名 Arm DevSummit

延伸閱讀:



電動自駕車上路迎曙光!Turing Drive 借重 AWS IoT Lab 雲端服務,桃園青埔開放道路成功試營運

Turing Drive 透過 AWS IoT Core 進行資料彙整並集中傳送到 AWS 雲端,事後新創團隊更快梳理資料庫的數據,持續優化自駕車路線,AWS 除了技術面、架構面的協助之外,更重要是提供實作的引導,讓管理資料安全更有效率。
評論
Photo Credit:TNL Brand Studio
評論

電動車浪潮,讓無人自駕車的場景應用,增加更多想像空間!市調預測 2020~2024 年 L1-L5 等級電動自駕車,年複合成長率 18.3%。然而,電動自駕車要實際上路,除了要配套法規,保護乘客、行人的安全,更備受考驗。

團隊成員平均 30 歲的新創台灣智駕(Turing Drive)於 2018 年創立,致力研發可商轉的自動駕駛系統,他們開發的特製國產電動車,上路測試兩年行駛超過 30,000 公里、運載 70,000 位旅客。達成 98% 車輛妥善率,背後正仰賴龐大感測數據做為支撐,過程中 Turing Drive 借重 AWS IoT Lab 物聯網實驗室服務,讓創新之路更加拓寬。

特殊交通情境提供創新養分,封閉到開放場域 Turing Drive 累積實戰經驗與數據

Photo Credit:TNL Brand Studio
Turing Drive 執行長沈大維提出電動自駕車在台灣交通情境下所擁有的優勢與挑戰。

「要在台灣創新,尤其是電動自駕車全新題目,對我們新創是相當大挑戰,但也迫使我們每天想破頭思考,在困境之下該如何找出路!」Turing Drive 執行長沈大維開門見山表示,創業三年多來,走得每一步有多麼不容易。

Turing Drive 握有 CPU、GPU 平行運算核心能力,正因為資源稀缺,盡可能發揮自駕系統的多重定位技術,從GPS、光達、雷達、影像、到車體慣性導航等應用,Turing Drive具備足以提供市場最快速 time-to-market 應用方案。然而,除了握有 AI 演算、晶片感測能力,沈大維認為台灣的獨特交通情境,對發展自動駕駛技術推了一把。

他解釋,「台灣摩托車、汽車齊聚路上,還有偏鄉接駁、市區夜間公車專用道,多元交通環境交錯,讓我們嘗試用自動駕駛創造新的營運模式,這是其他國家沒有的先天優勢。」因為有實際場域得以試營運,Turing Drive 一路從封閉環境的桃園農博會、台中麗寶樂園,再到台北信義區夜間、桃園青埔的開放道路環境,象徵台灣交通情境的縮影,這家新創正逐步破關打怪。

Photo Credit:Turing Drive
全台第一條電動自駕巴士路線,就在桃園青埔。

除了 Turing Drive 積極突破技術提升安全率,提供場域驗證、城市建設的桃園市也貢獻良多。桃園市政府經濟發展局局長郭裕信回應,桃園近年積極推動創新城市治理,被 ICF 智慧城市論壇評選為「全球智慧城市首獎」,電動自駕車是智慧城市的一環,因此桃園不遺餘力推動全台第一條自駕巴士路線試營運,提供載客接駁累計超過 800 位人次乘坐,創下 90% 乘客滿意度。

Photo Credit:TNL Brand Studio
桃園市政府經濟發展局局長郭裕信表示,桃園近年積極推動創新城市治理,電動自駕車是智慧城市的一環,因此桃園不遺餘力推動全台第一條自駕巴士路線試營運。

大量的感測、影像數據該如何加值使用?借力 AWS 邁向「雲」運算成必經之路

Turing Drive 的電動巴士每天在桃園青埔定點載客、行駛,可想而知,有多麼龐大的感測、影像數據不斷累積。沈大維點出過去其他案例測試時,若想達成 Data Driven 驅動更多自駕車服務,勢必要先克服數據的儲存、加值、運用等實際挑戰,他解釋,「以前用終端硬碟儲存資料,往往我們工程師要留守到半夜,再去插拔車上的硬碟、整理車子運行數據,我們發現這樣做很沒效率,甚至隨著數據資料越來越多,在分類管理的工作也更為困難。」

面對難題,就是尋求解方!Turing Drive 找上 AWS IoT Lab 物聯網實驗室,雙方開始盤點,該如何運用雲端環境的優勢,更輕鬆掌握、洞察自駕車數據的金礦。AWS IoT Lab 表示,

「我們從三大面向切入,協助 Turing Drive 加速他們開發流程、減少工程師例行工作,甚至將影像資料有效加值,又能確保資料安全。」

AWS 所説的的三大面向,正是 AWS IoT Lab 所提供的三項解決方案服務。首先針對工程師要排班到試營運現場,插拔硬碟下載資料的冗長流程,AWS 提供 AWS IoT Device SDK 透過 MQTT over TLS1.2 安全機制加密與 AWS IoT Core 連結,通過認證後可將終端裝置的資料傳到 AWS 雲端儲存。同時允許開發團隊從遠端,直接登入自駕車系統做韌體更新或回收數據等指令,大幅縮短 Turing Drive 在開發、調教程式的時間。

第二項服務則聚焦協助 Turing Drive 針對自駕車運行所錄製的影像,AWS 提供 Amazon Kinesis Video Streams (Amazon KVS) 服務,讓終端裝置的影像資料串流到 AWS 雲端平台,進行後續機器學習、分析處理。讓 Turing Drive 省去過去人工傳輸影響資料流程,也幫助開發團隊更便利做後續的資料加值利用。

Photo Credit:TNL Brand Studio
AWS IoT Solutions Architect Tec 介紹三項解決方案內容服務。

第三項則鎖定自駕車的資料,因為搭載光達、雷達、GPS、陀螺儀等感測器,每天每秒都在產生巨量資料,Turing Drive 透過 AWS IoT Core 進行資料彙整並集中傳送到 AWS 雲端,事後新創團隊更快梳理資料庫的數據,持續優化自駕車路線。除這三項關鍵服務,沈大維特別回應,「AWS 帶給我們技術面、架構面的協助之外,更重要是提供實作的引導,讓我們管理資料安全更有效率,把資料放到雲端儲存,再也不用煩惱地端伺服器的維護跟管理。」

Turing Drive、AWS、桃園市政府,各司其職聯手出力助攻電動自家車加速上路

Photo Credit:TNL Brand Studio
沈大維指出,電動自駕車上路的普及,須同步具備雲端數據解決方案與硬體環境的配合。

在 Turing Drive 的眼中,與桃園市政府合作在青埔導入電動巴士試營運只是開端,沈大維說:「十年、二十年後,我們認為新世代的智慧車會趨向平台化發展,一方面需要有像桃園市願意投資智慧城市硬體環境的地方政府;另一方面則仰賴 AWS 雲端方案,完善數位基礎建設來整合道路號誌資料、車輛運行資料,當這兩端同步發展之下,電動自駕車上路才會加速普及。」

尤其是自駕車數據背後隱含的商業創新,郭裕信回應說,「智慧城市治理最重要就是數據, Turing Drive 掌握的數據未來還能跟保險公司、電商導購做結合,只要資料去識別化在安全範圍下使用,相信 Turing Drive 與 AWS 兩家新創企業的創新能量,我們非常樂見有更多資料應用,搭配新興商業模式,在充滿活力的桃園市進行驗證,看見更多創新應用具體落地。」

Turing Drive 展望未來的佈局,沈大維認為自駕車的發展不會只靠一家企業單打獨鬥,未來他們將聯手產業鏈夥伴,將 AI 技術、車載設備、關鍵組件、路側設備端到端的解決方案輸出海外,放眼全球商機。他肯定表示,「AWS 雲端平台具備彈性,不斷推出新應用的價值,我們會持續與 AWS 合作,把新世代智慧車的數位基礎建設産品放在 AWS 平台一起推廣,鼓勵更多勇於築夢的新創,善用 AWS 的優勢展開創新之旅!」