【Arm 專欄】一文看懂資料中心系統效能指標—以雲到邊緣的高效基礎設施平台 Arm Neoverse 為例

對於伺服器和網路系統而言,效能通常是指對數據吞吐量 (throughput) 的衡量。但為何高效能很重要? 對於雲端運營商來說,更高的核心數意味著可以在每個系統上託管更多的客戶,並將成本分攤到更多的用戶上,也就是以更少的成本帶來更多收入。
評論
Arm 提供
評論

衡量電腦系統優劣的標準之一是效能,常被定義為機器完成的工作量和完成所需時間的比率。對於伺服器和網路系統而言,則通常是指對數據吞吐量 (throughput) 的衡量,也就是以一段時間區間作為單位,在該單位時間內可以執行的運算次數。例如一個系統每秒能處理多少電子商務交易?然而,這個定義對於現實世界的情境來說過於簡單,因為系統通常需要在一定的延遲時間內完成工作。更完整的效能評估則需要量測系統在服務級別協定 (service level agreement; SLA) 的範圍內,實現了多少吞吐量。為了簡化,這裡我們將忽略任何延遲限制,只關注基於吞吐量的效能指標,比如基於 SPEC CPU2017 「rate」等基準所產生的效能指標。

當評估資料中心電腦系統的效能時,以下三個指標至關重要:

  • 每插槽 (socket) 的效能

這是在測試系統上對吞吐量的測量。雖然傳統的伺服器系統常採用雙插槽 (dual socket) 配置,但通常會將估計標準化為單插槽 (single socket)。這個指標與雲端供應商和 OEM 廠商用來估計一個伺服器機架 (rack) 或一個節點 (node) 可以交付多少效能有關,通常作為評估整體擁有成本 (TCO) 模型的主要考量。

  • 每執行緒 (thread) 的效能

這個指標表示每個硬體執行緒對總體得分的貢獻,計算方法是每插槽 (socket) 的效能與有效硬體執行緒 (active HW thread) 之比例。它提供了在系統完全載入時,客戶可以在單一執行緒上實現多少效能的量測,這對於雲運算使用者至關重要,因為它決定了他們可以從每單位價格中獲得多少效能。

  • 每執行緒的效能可變性

一般來說,降低效能可變性對所有使用者都很重要,對於可能與多個租戶共用租用的雲運算資源之雲客戶來說更是如此。效能可變性越低,客戶在給定的工作負載下所能實現的效能就越具有一致和可預測性,這也使得客戶能更容易地調配和編列雲資源預算。

除了一些例外情況外,最典型常見的雲端 CPU 種類是使用高核心數與同步多執行緒 (Simultaneous Multi-Threading ; SMT) 結合,通常還使用部分「Turbo」功能。根據傳統供應商的不同,這些 CPU 可以在每插槽效能或每執行緒效能上取得很好的分數,但它們很少同時在兩者都表現良好。此外,每執行緒的效能可變性有可能有很大的不同,這取決於「虛擬機用戶」(noisy neighbors)、同步執行緒競爭核心資源以及「Turbo」模式固有的不可預測性。現在,讓我們透過這些指標來檢視 Arm Neoverse CPU 平台的效能。

  • 提供每插槽更卓越的效能

由於 Arm 的能耗效率,CPU 設計者可以在一個給定的散熱設計功耗 (Thermal Design Power; TDP) 下封裝更多完整的 Arm 核心,超越傳統架構能封裝的執行緒。由於 Arm 核心能較傳統執行緒提供更佳的效能,我們期望 Arm Neoverse 能提供每插槽卓越的效能。

  • 提供每執行緒更卓越的效能

Arm Neoverse CPU具有高時脈可執行指令 (IPC) 設計、龐大的私有快取 (cache),且不使用SMT,對於大多數工作負載,完整的 Arm 核心將比傳統的 SMT 執行緒的效能更好。隨著Arm Neoverse V1Neoverse N2 核心的發表,我們預測核心到執行緒的效能差異將更顯著。

  • 限制或消除每執行緒的效能可變性

與傳統 CPU 架構不同,Arm Neoverse 針對於使用場景為雲端運算的 CPU 不使用 SMT。對於雲端處理器而言,由於 Arm Neoverse 核心具有領先業界的功耗效率,可以取代傳統SMT 執行緒達成。

與傳統 CPU 架構不同,在適當的情況下針對特定的工作負載,Arm Neoverse的CPU 不依賴極端的Turbo核心頻率達成每執行緒更高的效能。Arm的一些合作夥伴開發了Turbo功能以獲取更高的效能,但Arm Neoverse平台透過高效能微架構和提供執行緒對核心和L2快取資源的完全存取來實現每執行緒的高效能。

我們將上述指標以下圖呈現,X 軸為每插槽效能,Y 軸為每執行緒的效能,為了簡化,省略第三個指標,即每執行緒的效能可變性。在這兩個指標上獲得最佳分數的設計出現在圖表的右上方。藉由在 X-Y 軸上繪製每插槽與每執行緒的效能,我們將我們的設計與其他競爭產品在晶片面積和 TDP 方面進行比較。

基於產業標準整數基準的 Arm Neoverse 與傳統 CPU 架構的效能預測。Arm 提供

由上圖可看到就典型雲實例上的每執行緒效能而言,Arm Neoverse N1 平台依然領先。我們列出了基於模擬的 64 核 Neoverse N1系統的預測,但市場上有更高核心數的 Neoverse N1 系統,可以進一步提高每插槽的總體性能。Arm 最新發佈的新品 Neoverse V1Neoverse N2 進一步優化設計,使得合作夥伴能持續在這些指標上領先。

但為何同時實現每插槽和每執行緒的高效能很重要?對於雲端運營商來說,更高的核心數意味著可以在每個系統上託管更多的客戶,並將成本分攤到更多的用戶上,也就是以更少的成本帶來更多收入。但對於雲端客戶也是如此,他們能因 Arm Neoverse 平台可預測、可擴充的效能而受益。

Neoverse N2 是首顆採用 Armv9 架構的基礎設施 CPU,Neoverse N2 承續 N1 與 V1,並從 Armv8.4、Armv8.5、Armv8.6 與 Armv9 架構加入許多新功能:

第二代可擴展的向量延伸指令集 (SVE2)

Neoverse N2 是首顆搭載 SVE2 的基礎設施核心。SVE2 在可擴展的向量延伸指令集 (SVE) 基礎上,把可擴充的單指令多資料 (SIMD) 向量效能與先進的自動向量化能力,帶到範圍更廣的各種軟體,包括機器學習、數位訊號處理、正規表示式以及 5G 無線接取網路 (5G RAN)。

對於傳統的基礎設施來說,每次新的向量長度導入硬體時,程式碼必須重建與優化才能利用到額外的向量頻寬。SVE 與 SVE2 都是不會偏好特定向量長度的 SIMD 指令集,可以讓用戶寫入與優化程式碼各一次,編譯一次,然後在多元的各種硬體上運行。SVE/SVE2 會自動調整程式碼,以便充份利用可用的向量頻寬。隨著新科技讓我們可以打造出更大型的向量機器,今日用 SVE/SVE2 寫入與編譯的程式碼,未來將可自動擴充到這些大型的機器。 SVE2 更簡單的程式設計模型,加上不偏好特定向量長度的新版本 Neon 指令,讓編譯器可以更簡易地讓您的程式碼自動向量化。這樣可以讓程式設計人員不用特別花力氣,就可以利用到向量化的好處。

微架構更新

Neoverse N2Neoverse N1 相比,IPC 提升 40%。Neoverse N2 在大幅提升效能的同時,仍然可以維持非常類似 N1 的面積/功耗效率,同時它還是顆平衡發展的 CPU。如此的效能提升並非來自某個微架構功能,而是來自全盤的設計考量。這個提升並不只侷限於合成基準的估算,因為在真實的伺服器工作負載上,也看到很大的提升。

CPU  設計人員追求更高效能的同時,想要獲取效能卻不想在功耗與面積效率上付出高昂的代價,難度越來越高。Arm 在設計 Neoverse N2 時,極為專注維持 CPU 的功耗與面積效率,但不犧牲效能。為了達成這些互為矛盾的目標,我們為 N2 的全新微架構功能設定極高的目標,而且這些功能在功耗與面積方面,也必須達成很高的投資報酬率。相較於 Neoverse V1Neoverse N2 達成效能比較不仰賴流水線的寬度與深度。Neoverse N2 的預測載入量、向量頻寬與載入/儲存頻寬也比較小。Neoverse N2 保有 Neoverse V1 許多的高效率特色,包括分支預測演算法、數據預提取演算法,以及數據替換原則。此外,Neoverse N2 還包含 Arm Neoverse V1 導入的 Mop 快取記憶體,可以為我們常在基礎設施工作負載上看到的小型核心,提供強大的效能提升。這一切都是為了保持核心平衡的本質,同時為雲端到邊緣區塊看重的工作負載,達成大幅提升的效率。

擴充性

Neoverse N2 極具擴充性,提供雲端到邊緣領域的運作自由度。夥伴們可以打造低核心數、低時脈、功耗上限優化的系統,或是以同樣的 N2 核心,為資料中心打造高核心數、高時脈、搭載龐大記憶體頻寬的設計。在如此的大型系統中,其高效率的特性讓 Arm 的夥伴可以在每插槽中放進更多的執行緒。隨著基礎設施的系統單晶片 (SoC) 逐漸成長,管理共享資源越來越重要。

記憶體標籤擴充 (MTE)

  • 在安全漏洞中,記憶體相關的安全議題佔了七成以上。
  • MTE 提供一個機制,可以用來檢測記憶體安全的違規。MTE 可以藉由提升測試與模糊測試的有效度,於部署前協助檢測出潛在的漏洞。MTE 在完成部署後,也可在進行擴充時協助檢測漏洞。
  • 可簡易部署以防止記憶體安全違規的檢測與緩和作為,可能可以防止大型類別的安全性漏洞遭到有心人士利用。

提供 Neoverse N2 使用的 Arm POP IP

Neoverse N2 是 N2 POP 平台的一部份,Arm 也在透過 Neoverse POP IP 的傘形結構下開發出最理想的實體實作,來加速產品的上市時程。Neoverse N2 POP IP 可以用在最尖端的 5 奈米製程,目前許多業者正過渡到這個全新製程。如果我們拿 N1 與 N2 相比,我們可以觀察到 IPC 大大提升了 40%。此外,升級到 5 奈米後,我們的時脈有潛力再提升 10%,同時讓功耗與面積保持大致相等。倘若 7 奈米製程的 Neoverse N1 PPA 適合您的工作負載與功耗上限,那麼 5 奈米的 Neoverse N2 將會是絕配。

提供 Neoverse N2 使用的 Arm POP IP。Arm 提供

在電信運營商尋求更具效益的網路,更廣泛的生態系統,以朝虛擬化平台轉移之際,開放式的 Open RAN 架構有著極大的潛力。Arm Neoverse 加速了高效虛擬化和模組化 5G 網路的部署,使得生態系統能更為開放與創新。

Arm 將於 7 月 29 號的「5G 關鍵技術與應用開發論壇」中,分享 5G 市場未來的趨勢、挑戰及其如何驅動新的使用案例,並將介紹 Neoverse V1 與 N2 平台最新的功能及應用,歡迎報名以了解 Arm Neoverse 平台在高效能運算、雲運算、網路、邊緣和 5G 市場應用上能為你提升的效能、功耗效率以及安全性。

責任編輯:Mia
核稿編輯:MindyLi



台灣疫情加溫,圓剛科技遠端方案幫助企業與學校數位轉型

在近日本土疫情的嚴峻情況下,商務活動、學校課程或生活娛樂都大受衝擊,遠距視訊的需求是所有人必須面對的課題。圓剛科技個人影音設備堅持台灣設計製造,協助居家防疫、守護台灣,以實際行動為第一線防疫人員加油。
評論
Photo Credit:圓剛科技
評論

新冠肺炎(COVID-19)疫情自五月中爆發以來,確診數不斷攀升,指揮中心指揮官陳時中 19 日宣布,全國疫情警戒升至第三級,也希望各企業也比照辦理防堵疫情擴散,且全國各級學校及幼兒園居家線上學習也延長至 6 月 28 日。台灣在疫苗數量和施打率落後的情況下,各機構配合政策紛紛祭出遠距工作、學習的對策,各行各業也積極的添購新設備,以維持正常運作。

遠端工作、遠距教學不再是未來趨勢,而更是現在的急迫需求

一般電腦內建的攝影機和麥克風或許可滿足大部分人的休閒需求,但為了能應對與客戶、主管以及同事間精準有效率的溝通,高品質的影音設備是不可或缺的。在家工作時最困擾的莫過於因為與家人同住或家中寵物小孩的干擾,會議品質與工作效率都會大打折扣。根據線上協作軟體公司 Atlassian 從自家軟體的使用行為,分析各國上班族的工時,發現在節省掉通勤時間的情況下,取而代之的是更長時間在座位上的辦公型態,對身心都會有不良影響。

Photo Credit:圓剛科技

影音設備大廠圓剛科技,一直以來致力於提供優秀的影音串流設備,也深耕在個人視訊會議、遠距教學的解決方案多年,除了高品質的產品,快速換新的保固服務,台灣設計及台灣製造的堅持,為品質把關,以及針對遠距工作需求不斷研發出新產品,為商務人士,教育工作及學習者提供完整的視訊影音解決方案。

圓剛最新電話揚聲器 AI 降噪還原舒適辦公環境

圓剛新推出的 AS311 智慧電話會議揚聲器,正是為了解決在家上班的痛點而設計,搭載的 AI 降噪功能可以降低環境噪音,處理屋內雜音不斷、貓狗持續吵鬧的問題,讓對話能清晰傳達給對方;特別是其優秀的收音與揚聲功能,在室內自由移動也不會影響溝通,居家上班不必成天待在座位上,且不用整天掛著耳機,如果怕打擾到家人而身處在狹窄的個人空間,透過回音消除功能,讓對方接收不受雜音干擾的音訊。

而在高畫質影像的需求,則由主打的 PW315 超廣角網路攝影機來滿足,廣闊的視角和高達 60fps 的刷新率,讓視訊畫面清楚而流暢不卡卡,獨特的人像追蹤功能,即使離開座位也不用多花力氣調整畫面。除了工作使用,在遠距面試上,也能完整還原面試表現,為自己加分。這套影音組合從設計到組裝都在台灣,同時也支援主流視訊軟體,不僅符合個人商務需求,品質、保固以及相容性也都可靠無虞。

遠距教學影音 互動完整舒適

各級政府積極應對疫情,並迅速地實施停班不停課的政策,但是一萬多所各級學校的關閉,這樣突如其來的遠距教學需求,挑戰著所有教師和學生,教師需要在提供原有的教學內容之餘,同時關心學生,聯絡感情;而學生則需要能維持良好的通訊設備來有效的學習,和設法彌補以往面對面能訓練的社交能力,家長也必須設法在工作與帶小孩中取得平衡。

Photo Credit:圓剛科技

圓剛的網路攝影機針對各類情境做設計,從 4K 超高畫質到清晰的 1080p,從 74 度視角的個人視訊到 95 度超廣角鏡頭,以及定焦變焦都有專屬的產品可以選擇。

超廣角網路攝影機 PW315 能夠涵蓋黑板、白板的廣闊視角,教師即使透過視訊,仍然能做到配合大肢體動作的板書教學,4K 超高畫質網路攝影機 PW513 則能進一步捕捉更多畫面細節,讓線上教學也能做到生動多變,提高學生課堂專注度。

而目前多為紙本的教材,則能透過 PW310P 自動對焦攝影機的近景成像,清楚展示課本內文,即時捕捉老師教學的教具;教師如果想在多人辦公室製作教學影片時,希望不受干擾也不干擾別人,也可以從 BO317 個人視訊協作組合開始,以親民的價格輕鬆入手完整組合。

超廣角攝影保持溝通效率 學生遠距考試不麻煩

學生則可以透過自動對焦的網路攝影機 PW310P 清楚展示完成作品,讓老師的回饋也能更加清楚,使學生積極完成作業,且更重視下次的作品評價;並搭配 AS311 智慧電話會議揚聲器,能夠以清楚的聲音與同學、老師討論互動,彷彿面對面的臨場感,有效降低遠距的疏離感,保持互動。更重要的是學生不用長時間的配掛耳機,降低耳朵受傷的風險,及提高課堂學習的舒適性,目前很多學校反映有遠距考試的需求,考生須以特定角度開啟視訊,確保桌面、身上和眼前沒有放置作弊嫌疑的物品,也必須包含螢幕畫面,只需要使用超廣角網路攝影機 PW315,就能清楚回傳監考畫面,既能減少準備工作,也確保了考試公信力。

Photo Credit:圓剛科技

圓剛科技 連結工作與生活

在近日本土疫情的嚴峻情況下,商務活動、學校課程或生活娛樂都大受衝擊,居家個人視訊的需求是所有人必須面對的課題。圓剛科技多款產品推出優惠價格來回饋社會,而 AS311 智慧電話揚聲器也有產品借測活動,讓企業和學校在購買前能事先試用,確保符合使用需求,更多產品資訊可參考圓剛科技官網,或與業務聯絡。圓剛科技與國內各單位共體時艱,一同居家防疫、守護台灣,以實際行動為第一線防疫人員加油。

現在只要註冊圓剛官網會員,在圓剛網路商城購買即享多項獨家優惠,並鎖定未來優惠通知。

延伸閱讀:找到屬於你的網路攝影機 | AVerMedia 圓剛

產品特點整理:

AS311

  • 隨插即用,不需任何技術背景
  • AI降噪功能,降低環境雜音(如鍵盤滑鼠敲擊聲、零食咀嚼聲及炒菜煮飯聲等)
  • 全方位收音,不受設備制約,可以離開座位自由移動
  • 讓耳朵不用整天掛著耳機

PW513

  • 極致4K畫質
  • 廣角涵蓋清楚黑板內容
  • 通過Zoom認證 相容主流會議軟體

PW315

  • 通過Zoom認證測試
  • 畫質好畫面流暢(1080p60 fps)
  • 超廣角捕捉人物動作 還原完整畫面
  • 自動人像追蹤 人物不出鏡

PW310P

  • 高畫質1080p30
  • 自動對焦 近物成像清晰
  • 鏡頭遮蓋保障隱私
  • 360度旋轉支架

BO317

  • 高畫質1080p30網路攝影機
  • 搭配高音質頭戴式耳機
  • 屏除環境干擾、避免打擾家人
  •  影音組合入門首選

本文章內容由「圓剛科技」提供,經關鍵評論網媒體集團廣編企劃編審。