【Arm 專欄】一文看懂資料中心系統效能指標—以雲到邊緣的高效基礎設施平台 Arm Neoverse 為例

對於伺服器和網路系統而言,效能通常是指對數據吞吐量 (throughput) 的衡量。但為何高效能很重要? 對於雲端運營商來說,更高的核心數意味著可以在每個系統上託管更多的客戶,並將成本分攤到更多的用戶上,也就是以更少的成本帶來更多收入。
評論
Arm 提供
評論

衡量電腦系統優劣的標準之一是效能,常被定義為機器完成的工作量和完成所需時間的比率。對於伺服器和網路系統而言,則通常是指對數據吞吐量 (throughput) 的衡量,也就是以一段時間區間作為單位,在該單位時間內可以執行的運算次數。例如一個系統每秒能處理多少電子商務交易?然而,這個定義對於現實世界的情境來說過於簡單,因為系統通常需要在一定的延遲時間內完成工作。更完整的效能評估則需要量測系統在服務級別協定 (service level agreement; SLA) 的範圍內,實現了多少吞吐量。為了簡化,這裡我們將忽略任何延遲限制,只關注基於吞吐量的效能指標,比如基於 SPEC CPU2017 「rate」等基準所產生的效能指標。

當評估資料中心電腦系統的效能時,以下三個指標至關重要:

  • 每插槽 (socket) 的效能

這是在測試系統上對吞吐量的測量。雖然傳統的伺服器系統常採用雙插槽 (dual socket) 配置,但通常會將估計標準化為單插槽 (single socket)。這個指標與雲端供應商和 OEM 廠商用來估計一個伺服器機架 (rack) 或一個節點 (node) 可以交付多少效能有關,通常作為評估整體擁有成本 (TCO) 模型的主要考量。

  • 每執行緒 (thread) 的效能

這個指標表示每個硬體執行緒對總體得分的貢獻,計算方法是每插槽 (socket) 的效能與有效硬體執行緒 (active HW thread) 之比例。它提供了在系統完全載入時,客戶可以在單一執行緒上實現多少效能的量測,這對於雲運算使用者至關重要,因為它決定了他們可以從每單位價格中獲得多少效能。

  • 每執行緒的效能可變性

一般來說,降低效能可變性對所有使用者都很重要,對於可能與多個租戶共用租用的雲運算資源之雲客戶來說更是如此。效能可變性越低,客戶在給定的工作負載下所能實現的效能就越具有一致和可預測性,這也使得客戶能更容易地調配和編列雲資源預算。

除了一些例外情況外,最典型常見的雲端 CPU 種類是使用高核心數與同步多執行緒 (Simultaneous Multi-Threading ; SMT) 結合,通常還使用部分「Turbo」功能。根據傳統供應商的不同,這些 CPU 可以在每插槽效能或每執行緒效能上取得很好的分數,但它們很少同時在兩者都表現良好。此外,每執行緒的效能可變性有可能有很大的不同,這取決於「虛擬機用戶」(noisy neighbors)、同步執行緒競爭核心資源以及「Turbo」模式固有的不可預測性。現在,讓我們透過這些指標來檢視 Arm Neoverse CPU 平台的效能。

  • 提供每插槽更卓越的效能

由於 Arm 的能耗效率,CPU 設計者可以在一個給定的散熱設計功耗 (Thermal Design Power; TDP) 下封裝更多完整的 Arm 核心,超越傳統架構能封裝的執行緒。由於 Arm 核心能較傳統執行緒提供更佳的效能,我們期望 Arm Neoverse 能提供每插槽卓越的效能。

  • 提供每執行緒更卓越的效能

Arm Neoverse CPU具有高時脈可執行指令 (IPC) 設計、龐大的私有快取 (cache),且不使用SMT,對於大多數工作負載,完整的 Arm 核心將比傳統的 SMT 執行緒的效能更好。隨著Arm Neoverse V1Neoverse N2 核心的發表,我們預測核心到執行緒的效能差異將更顯著。

  • 限制或消除每執行緒的效能可變性

與傳統 CPU 架構不同,Arm Neoverse 針對於使用場景為雲端運算的 CPU 不使用 SMT。對於雲端處理器而言,由於 Arm Neoverse 核心具有領先業界的功耗效率,可以取代傳統SMT 執行緒達成。

與傳統 CPU 架構不同,在適當的情況下針對特定的工作負載,Arm Neoverse的CPU 不依賴極端的Turbo核心頻率達成每執行緒更高的效能。Arm的一些合作夥伴開發了Turbo功能以獲取更高的效能,但Arm Neoverse平台透過高效能微架構和提供執行緒對核心和L2快取資源的完全存取來實現每執行緒的高效能。

我們將上述指標以下圖呈現,X 軸為每插槽效能,Y 軸為每執行緒的效能,為了簡化,省略第三個指標,即每執行緒的效能可變性。在這兩個指標上獲得最佳分數的設計出現在圖表的右上方。藉由在 X-Y 軸上繪製每插槽與每執行緒的效能,我們將我們的設計與其他競爭產品在晶片面積和 TDP 方面進行比較。

基於產業標準整數基準的 Arm Neoverse 與傳統 CPU 架構的效能預測。Arm 提供

由上圖可看到就典型雲實例上的每執行緒效能而言,Arm Neoverse N1 平台依然領先。我們列出了基於模擬的 64 核 Neoverse N1系統的預測,但市場上有更高核心數的 Neoverse N1 系統,可以進一步提高每插槽的總體性能。Arm 最新發佈的新品 Neoverse V1Neoverse N2 進一步優化設計,使得合作夥伴能持續在這些指標上領先。

但為何同時實現每插槽和每執行緒的高效能很重要?對於雲端運營商來說,更高的核心數意味著可以在每個系統上託管更多的客戶,並將成本分攤到更多的用戶上,也就是以更少的成本帶來更多收入。但對於雲端客戶也是如此,他們能因 Arm Neoverse 平台可預測、可擴充的效能而受益。

Neoverse N2 是首顆採用 Armv9 架構的基礎設施 CPU,Neoverse N2 承續 N1 與 V1,並從 Armv8.4、Armv8.5、Armv8.6 與 Armv9 架構加入許多新功能:

第二代可擴展的向量延伸指令集 (SVE2)

Neoverse N2 是首顆搭載 SVE2 的基礎設施核心。SVE2 在可擴展的向量延伸指令集 (SVE) 基礎上,把可擴充的單指令多資料 (SIMD) 向量效能與先進的自動向量化能力,帶到範圍更廣的各種軟體,包括機器學習、數位訊號處理、正規表示式以及 5G 無線接取網路 (5G RAN)。

對於傳統的基礎設施來說,每次新的向量長度導入硬體時,程式碼必須重建與優化才能利用到額外的向量頻寬。SVE 與 SVE2 都是不會偏好特定向量長度的 SIMD 指令集,可以讓用戶寫入與優化程式碼各一次,編譯一次,然後在多元的各種硬體上運行。SVE/SVE2 會自動調整程式碼,以便充份利用可用的向量頻寬。隨著新科技讓我們可以打造出更大型的向量機器,今日用 SVE/SVE2 寫入與編譯的程式碼,未來將可自動擴充到這些大型的機器。 SVE2 更簡單的程式設計模型,加上不偏好特定向量長度的新版本 Neon 指令,讓編譯器可以更簡易地讓您的程式碼自動向量化。這樣可以讓程式設計人員不用特別花力氣,就可以利用到向量化的好處。

微架構更新

Neoverse N2Neoverse N1 相比,IPC 提升 40%。Neoverse N2 在大幅提升效能的同時,仍然可以維持非常類似 N1 的面積/功耗效率,同時它還是顆平衡發展的 CPU。如此的效能提升並非來自某個微架構功能,而是來自全盤的設計考量。這個提升並不只侷限於合成基準的估算,因為在真實的伺服器工作負載上,也看到很大的提升。

CPU  設計人員追求更高效能的同時,想要獲取效能卻不想在功耗與面積效率上付出高昂的代價,難度越來越高。Arm 在設計 Neoverse N2 時,極為專注維持 CPU 的功耗與面積效率,但不犧牲效能。為了達成這些互為矛盾的目標,我們為 N2 的全新微架構功能設定極高的目標,而且這些功能在功耗與面積方面,也必須達成很高的投資報酬率。相較於 Neoverse V1Neoverse N2 達成效能比較不仰賴流水線的寬度與深度。Neoverse N2 的預測載入量、向量頻寬與載入/儲存頻寬也比較小。Neoverse N2 保有 Neoverse V1 許多的高效率特色,包括分支預測演算法、數據預提取演算法,以及數據替換原則。此外,Neoverse N2 還包含 Arm Neoverse V1 導入的 Mop 快取記憶體,可以為我們常在基礎設施工作負載上看到的小型核心,提供強大的效能提升。這一切都是為了保持核心平衡的本質,同時為雲端到邊緣區塊看重的工作負載,達成大幅提升的效率。

擴充性

Neoverse N2 極具擴充性,提供雲端到邊緣領域的運作自由度。夥伴們可以打造低核心數、低時脈、功耗上限優化的系統,或是以同樣的 N2 核心,為資料中心打造高核心數、高時脈、搭載龐大記憶體頻寬的設計。在如此的大型系統中,其高效率的特性讓 Arm 的夥伴可以在每插槽中放進更多的執行緒。隨著基礎設施的系統單晶片 (SoC) 逐漸成長,管理共享資源越來越重要。

記憶體標籤擴充 (MTE)

  • 在安全漏洞中,記憶體相關的安全議題佔了七成以上。
  • MTE 提供一個機制,可以用來檢測記憶體安全的違規。MTE 可以藉由提升測試與模糊測試的有效度,於部署前協助檢測出潛在的漏洞。MTE 在完成部署後,也可在進行擴充時協助檢測漏洞。
  • 可簡易部署以防止記憶體安全違規的檢測與緩和作為,可能可以防止大型類別的安全性漏洞遭到有心人士利用。

提供 Neoverse N2 使用的 Arm POP IP

Neoverse N2 是 N2 POP 平台的一部份,Arm 也在透過 Neoverse POP IP 的傘形結構下開發出最理想的實體實作,來加速產品的上市時程。Neoverse N2 POP IP 可以用在最尖端的 5 奈米製程,目前許多業者正過渡到這個全新製程。如果我們拿 N1 與 N2 相比,我們可以觀察到 IPC 大大提升了 40%。此外,升級到 5 奈米後,我們的時脈有潛力再提升 10%,同時讓功耗與面積保持大致相等。倘若 7 奈米製程的 Neoverse N1 PPA 適合您的工作負載與功耗上限,那麼 5 奈米的 Neoverse N2 將會是絕配。

提供 Neoverse N2 使用的 Arm POP IP。Arm 提供

在電信運營商尋求更具效益的網路,更廣泛的生態系統,以朝虛擬化平台轉移之際,開放式的 Open RAN 架構有著極大的潛力。Arm Neoverse 加速了高效虛擬化和模組化 5G 網路的部署,使得生態系統能更為開放與創新。

Arm 將於 7 月 29 號的「5G 關鍵技術與應用開發論壇」中,分享 5G 市場未來的趨勢、挑戰及其如何驅動新的使用案例,並將介紹 Neoverse V1 與 N2 平台最新的功能及應用,歡迎報名以了解 Arm Neoverse 平台在高效能運算、雲運算、網路、邊緣和 5G 市場應用上能為你提升的效能、功耗效率以及安全性。

責任編輯:Mia
核稿編輯:MindyLi



助攻金融科技!訊連科技推出 FaceMe® Fintech 解決遠距投保、視訊會議、人臉辨識三大難題

因應疫情時代的視訊投保需求,以及各種遠端金融服務場景,訊連科技推出 FaceMe® Fintech 一站式解決方案,解決遠距投保、視訊會議、人臉辨識三大難題。
評論
Photo Credit:訊連科技
評論

受疫情影響,金管會於今年 6 月宣佈視訊投保暫行方案,確保壽險業者各項服務及業務不因疫情影響中斷;截至7月底止,已有不少知名金融保險業者獲准試辦遠距投保業務項目。

目前小規模試辦的結果,卻因為市面上欠缺可整合視訊會議及 eKYC(Electronic Know Your Customer)的解決方案,業者大多得透過整合多套不同服務,例如:採用 Teams、Webex 或  LINE 等工具進行視訊會議,或保險簽單需事先提供予客戶列印、簽名,又或者是透過第三方的方式錄影(如透過手機或攝影機翻拍)等,導致使用者體驗不佳。此外,這樣的做法還是仰賴保險業務員以肉眼比對投保人及身分證,仍有冒用風險。

對於未來大幅度開放遠距投保,勢必需要更成熟、高度整合的解決方案。

訊連科技推出 FaceMe® Fintech 解決方案,解決遠距投保的身份認證難題

以保險、金融應用來說,目前主流的生物辨識 eKYC 技術主要包含:人臉辨識、指紋辨識、虹膜辨識等。其中,人臉辨識在過去數年來,因為深度學習技術導入,辨識度大幅提高,加上辨識速度快、無須專用硬體(可使用裝置上的相機)即可進行遠端辨識,大大降低接觸風險,因此也在這幾年成為生物辨識技術的主流。

只不過,目前全球的人臉辨識技術大多為中國廠商,在台灣要落地應用,恐怕會有資安疑慮,無法安心採用。

Photo Credit:訊連科技/訊連科技推出人臉辨識產品 FaceMe® 並可作為一系列金融科技解決方案。

值得注意的是,過去以威力導演、PowerDVD 等軟體知名的「訊連科技」,近年來也跨足 eKYC、AI 領域,擴充人臉辨識產品,推出「FaceMe® AI 人臉辨識引擎」,提供高達 99.7% 準確度的人臉辨識服務,並於全球知名的 NIST(美國國家標準暨技術研究院)之 FRVT 人臉辨識基準測試中,於 1:1(人證比對)及 1:N(身份認證)項目排行全球第六,除了是台灣排名最佳的廠商之外,也是該項測試排除中、俄廠商的全球第一。這樣的技術,也是訊連科技針對金融保險業者的 FaceMe® Fintech 解決方案中,重要的核心之一。

辨明真偽!FaceMe® Fintech 提供整合性的金融科技解決方案

談到金融科技,除了資安、金流系統之外,在講求無遠弗屆的遠端服務時,辨明真偽更是信任基礎的第一步。因此,訊連科技的 FaceMe® Fintech 以精準辨識的技術為核心,為金融、保險應用提供一系列解決方案,包含:

  1. eKYC SDK 提供人臉辨識、身分證真偽辨識、活體辨識、人證比對等功能。
  2. 視訊會議 SDK 提供金融保險業者於公有雲或私有雲架設視訊會議、進行錄音錄影、畫面分享,業務員能透過畫面分享進行保單說明。以公有雲來說,FaceMe® Fintech 的視訊會議採用位於台灣機房的 GCP (Google Cloud Platform),即可符合資料落地的需求。

其中,視訊會議 SDK 功能完整,有諸多優勢。除了可於視訊會議過程中進行錄音錄影(符合金管會要求)、業務員能透過畫面分享進行保單說明之外,還有許多身分驗證服務,可導入包含:

  1. 身分證真偽辨識:透過 AI 辨識身分證是否為真,避免業務員肉眼誤判。此外,若有二階段認證需求,也提供聲紋比對功能。
  2. 活體辨識:避免透過相片或影片假冒身分。FaceMe® 的活體辨識可提供透過一般行動裝置之 2D 鏡頭、或是透過 3D 鏡頭(如 iPad Pro、iPhone X 等)進行活體辨識。
  3. 人證比對及核身:透過人臉辨識,比對證件照及鏡頭前的投保人是否為同一人,減少業務員肉眼誤判。
  4. OCR 光學字元辨識: 身分確認後,將證件資訊帶入保單,如姓名、身分證號、換發日期等,省去打字麻煩,加快投保速度。
Photo Credit:訊連科技/FaceMe® 可跨平台建置於 Windows、Linux、Android 與 iOS 等作業系統,亦可提供 HTTP API ,進行網銀服務串接。開發者可在各種終端設備或雲端服務中快速導入人臉辨識功能,進行身份辨識、身分驗證等多種應用。

不限智慧金融!FaceMe® 的其他廣泛應用:智慧安控、智慧健康量測

於前一陣子 IEEE 舉辦的 ICCV 電腦視覺大會中,訊連 FaceMe® 活體辨識成績為全球第三,且是排除中、俄廠商的全球第一。 FaceMe® 除了核心的跨平台軟體開發套件外,也針對安控、金融保險等應用,提供垂直整合方案。

除了上述保險應用之外, FaceMe® 也可廣泛使用於遠距開戶、 ATM 無卡交易、行動網銀身分辨識、遠距客服等服務,或是於分行內建立迎賓系統、黑名單偵測、機房金庫的門禁管理等;在疫情時代下,也提供非接觸性的健康量測功能,例如偵測是否配戴口罩,或偵測訪客額溫等。如果終究都要推行遠端,何不現在就了解 FaceMe® 各種強大的應用之處?