--- title: Intel® Xeon® 6 as AI Host CPU Infographic source_url: https://www.intel.com/content/www/us/en/content-details/842667/intel-xeon-6-as-ai-host-cpu-infographic.html content_type: text/html last_updated: '2026-10-22' --- # Intel® Xeon® 6 as AI Host CPU Infographic ## Summary Learn about the 5 core reasons why Intel Xeon 6 with P-cores is the best option for host CPU in AI Accelerated Systems ## Details [Share](#) Bookmark Download In Collections: [Intel® Cloud Insider Program: Content Library](https://www.intel.com/content/www/us/en/partner-alliance/community/cloud/content-library.html?) ID 842667 Date 2026-05-20 Public View More See Less A preview is not available for this record, click “View” or “Download” to engage with the material. ## Description Learn about the 5 core reasons why Intel Xeon 6 with P-cores is the best option for host CPU in AI Accelerated Systems. ## Usage instructions Related Assets Title and Description Format Language Action Intel® Xeon® 6 as AI Host CPU Infographic Learn about the 5 core reasons why Intel Xeon 6 with P-cores is the best option for host CPU in AI Accelerated Systems **Format:** pdf **Language:**Chinese (Traditional) [Download](https://cdrdv2.intel.com/v1/dl/getContent/842667?fileName=Intel+Xeon+6+as+AI+Host+CPU+Infographic_TW.pdf) **Language:**French [Download](https://cdrdv2.intel.com/v1/dl/getContent/842667?fileName=xeon-6-processors-with-p-cores-ig-french.pdf) **Language:**German [Download](https://cdrdv2.intel.com/v1/dl/getContent/842667?fileName=xeon-6-processors-with-p-cores-ig-german.pdf) **Language:**Japanese [Download](https://cdrdv2.intel.com/v1/dl/getContent/842667?fileName=xeon-6-processors-with-p-cores-ig-jp.pdf) **Language:**Korean [Download](https://cdrdv2.intel.com/v1/dl/getContent/842667?fileName=Intel+Xeon+6+as+AI+Host+CPU+Infographic_KR.pdf) ### Source Document: [Share](https://cdrdv2.intel.com/v1/dl/getContent/842667?fileName=Xeon6_forHostCPU_Infographic_Final-Q2-26.pdf) ## Accelerating Innovation: ## 5 Reasons for Choosing ## Intel® Xeon® 6 Processors as ## Host CPUs to Drive AI Success ### Design an advanced AI-accelerated system ### capable of running demanding AI workloads ### by making use of Intel Xeon 6 processors as ### the host CPU of choice. MRDIMMs deliver ### up to 2.3x ### higher memory bandwidth compared to 5th Gen Intel Xeon processors.3 2DPC on Intel Xeon 6 processors delivers ### up to 18% ### higher memory speeds compared to the latest AMD EPYC processor.2 ## Higher memory capacity ## and bandwidth Training large generative AI (GenAI) models requires large memory capacity to store model parameters and weights before the models are sent to the GPU. As a general guideline, these accelerated AI systems should support 2x the CPU memory capacity relative to GPU memory per system, meaning that eight 288 GB GPUs would require 4.6 TB CPU memory capacity per system (8 x 288 GB). The Intel Xeon 6776P processor with 128 GB DIMMs in a 2 DIMMs per channel (2DPC) configuration can support CPU memory capacities beyond 4.6 TB, up to 8 TB per system. The 2DPC configuration provides the system memory capacity needed to train large models, and it delivers the best memory performance and total cost of ownership (TCO).² In addition, Intel Xeon 6 processors with Performance-cores (P-cores) use Multiplexed Rank DIMMs (MRDIMMs) to deliver higher memory bandwidth. This innovative memory technology boosts bandwidth and performance while reducing latency for memory-bound AI and high-performance computing (HPC) workloads. High system memory bandwidth is important for large-scale inference on GPUs, especially with key-value (KV) cache sizes increasing due to larger context sizes during inference. Higher memory bandwidth is also important to support the emergence of new agentic AI inference applications, where the host CPU serves as the orchestrator of tasks. ## Why choose Intel Xeon 6 processors as host CPUs? ## Intel Xeon processors are the host CPUs of choice for the world’s most powerful ## AI accelerator platforms, being the most benchmarked host processors for ## these systems.1 ## The performance and utilization of AI systems rely on the CPU host to coordinate ## computation, manage input/output (I/O) traffic, and keep throughput running ## efficiently. Choosing the right CPU for your AI system can help alleviate bottlenecks ## and increase work time for training and inference workloads. The NVIDIA DGX ## Rubin NVL8 platform leverages Intel Xeon 6 processors with Intel® Priority Core ## Turbo (Intel® PCT) as the host CPU. ## Here are five reasons why Intel Xeon 6 processors are the best choice for host ## CPUs in AI-accelerated systems. ## 1 ## 2 ## Improved single-thread ## performance Accelerated AI systems require a minimum ratio of 8–12 CPU cores to 1 GPU, and Intel Xeon 6 processors deliver 2x more cores per socket than the previous generation. The processors’ single-threaded core performance drives faster data transfers to GPU accelerators, increasing the time available for GPU processing and shortening model time to train, which also aids in data preprocessing—a critical function of the host CPU. Intel Xeon 6 processors with P-cores feature select SKUs with Intel PCT technology, allowing eight priority cores to operate dynamically at a higher frequency. This enables faster data transfer of model parameters and weights to/from memory and the orchestration of tasks originating on the GPU or accelerator-based system. The remaining cores operate at a base frequency, ensuring optimal distribution of CPU resources. Intel PCT technology allows GPUs to operate at peak efficiency levels, increasing utilization for the system—a capability critical for workloads that demand sequential or serial processing—with the right volume of high-frequency cores per GPU. The right number of cores running at high frequency enables optimal TDP power. ## Superior I/O support with ## the latest-generation PCIe PCIe high performance and lane numbers determine the I/O performance of an AI system, which needs to be designed for maximum PCIe lane availability. Intel Xeon processors provide a range of 32 GB/s PCIe Gen 5 lanes for accelerator, networking, and storage workloads—from 192 lanes in a dual-socket configuration for the Intel Xeon 6900P processor to 136 lanes in an Intel Xeon 6700P one-socket configuration. Higher I/O bandwidth accelerates data offloads and elevates operational efficiency. A higher PCIe lane count helps accommodate high-throughput GPUs, network interface controllers (NICs), and storage devices. ## 3 Boost I/O bandwidth with up to ### 20 percent more PCIe lanes than the previous generation. Intel Xeon 6 processors with P-cores can deliver ### up to 192 PCIe 5.0 lanes per ### 2S server, compared to only 160 lanes in a 2S configuration with the latest AMD EPYC processor. Up to ### 128 P-cores per CPU delivers 2x more cores per socket The 64-core Intel Xeon 6776P processor with Intel PCT cores and 4.6 GHz frequency delivers ### up to a 17% frequency gain compared to the Intel Xeon 6767P processor.4 ## Speed vector database processing ## with Intel® AMX instructions Loading data to AI accelerators can bottleneck GPU utilization, as the GPUs sit idle until the data is loaded. Utilizing a vector database can improve the data-loading speed and increase overall GPU efficiency. Intel Xeon 6 processors feature Intel® Advanced Matrix Extensions (Intel AMX), an instruction set that improves vector processing. With moderate AI compute capabilities through Intel AMX, Intel Xeon 6 processors are designed to support a wide variety of tasks as host CPUs, delivering system performance and efficiency. Intel Xeon 6 processors with P-cores and Intel® Scalable Vector Search (Intel® SVS) optimizations enabled can ### improve vector indexing ### and search by up to 2.75x compared to AMD EPYC 9575F processors.5 Intel AMX includes ### newly added ### support for FP16 precision arithmetic to support data preprocessing and other host CPU responsibilities in AI-accelerated systems. ## 5 ## Dedicated RAS support and confidential AI Uptime is the key to system optimization. Intel’s industry-leading reliability, availability, and serviceability (RAS) support has monitoring and control capabilities to keep systems running with optimal performance and to reduce costly downtime for accelerated AI systems. Advanced management capabilities include telemetry, platform monitoring, control over shared resources, and real-time firmware updates. Intel and NVIDIA are actively collaborating on AI data security. Intel Xeon CPUs and NVIDIA GPUs can operate their own Trusted Execution Environments (TEEs) for confidential computing. An encrypted bounce buffer and Intel® Trust Domain Extensions (Intel® TDX) Connect provide hardware-protected connectivity between the TEEs on both the CPU and GPU, enabling end-to-end AI confidentiality. This provides a variety of benefits for AI applications, like helping prevent unauthorized data exposure, helping protect inference or training data from exposure, and strengthening cybersecurity against known or new threats. Reduce business disruptions, improve uptime, and deliver end-to-end AI confidentiality with Intel Xeon 6 processors. Legal Notices and Disclaimers Performance varies by use, configuration and other factors. Learn more at www.Intel.com/PerformanceIndex. Performance results are based on testing as of dates shown in configurations and may not reflect all publicly available updates. See configuration disclosure for additional details. No product or component can be absolutely secure. Your costs and results may vary. Intel technologies may require enabled hardware, software or service activation. © Intel Corporation. Intel, the Intel logo, and other Intel marks are trademarks of Intel Corporation or its subsidiaries. Other names and brands may be claimed as the property of others. Printed in USA 0326/DR/PRW/PDF Please Recycle 363270-002US Endnotes ¹ Based on MLPerf benchmark testing as of 2024. For details, visit https://mlcommons.org/. 2 8-channel 2DPC for a 2S system on an Intel Xeon 6700P processor. 16 DIMMs per socket totaling 32 DIMMs. Comparing 5,200 megatransfers per second (MT/s) RDIMM speed vs. 4,400 MT/s RDIMM speed on a 5th Gen AMD EPYC processor. 3 Based on Intel analysis as of May 2024. Baseline: 1-node, 2 x Intel Xeon Platinum 8592+ processors, 64 cores, Intel® Hyper-Threading Technology (Intel® HT Technology) on, Intel® Turbo Boost Technology on, NUMA configuration SNC2, 1,024 GB total memory (16 x 64 GB DDR5 5,600 MT/), BIOS version 3B07.TEL2P1, microcode 0x21000200, Ubuntu 24.04, Linux version 6.8.0-31-generic, tested by Intel as of May 2024. New: 1-node, pre-production platform, 2 x Intel Xeon 6 processors with P-cores, Intel HT Technology on, Intel Turbo Boost Technology on, NUMA configuration SNC3, 3,072 GB total memory (24 x 128 GB MCR 8,800 MT/s), BIOS version BHSDCRB1.IPC.0031.D97.2404192148, microcode 0x81000200, Ubuntu 23.10, kernel version 6.5.0-28-generic. Software: NEMO v4.2.2. ORCA025 dataset from CMCC. Intel® Fortran Compiler Classic and Intel® MPI from 2024.1; Intel® oneAPI HPC Toolkit. Compiler flags “-i4 -r8 -O3 -xCORE-AVX2 -fno-alias -fp-model fast=2 -align array64byte -fimf-use-svml=true.” 4 Tested by Intel analysis as of April 2025. Baseline: 1-node, 2 x Intel Xeon 6767P, 64 cores, 350 W TDP, Intel HT Technology on, Intel Turbo Boost Technology on, 1,024 GB total memory (16 x 64 GB DDR5, 8,800 MT/s [8,000 MT/s]), BIOS F17, microcode 0x1000380, 2 x Intel® Ethernet Controller X710 for 10GBASE-T, 2 x Intel® Ethernet Controller E810-C for QSFP, 1 x 3.5 TB Intel SSDPF2KX038TZ, 2 x NVIDIA H100 NVL PCIe GPU, Ubuntu 24.04.2 LTS, 6.8.0-54-generic. Tested by Intel as of April 2025. New: 1-node, 2 x Intel Xeon 6776P (pre-production), 64 cores, 350 W TDP, Intel HT Technology on, Intel Turbo Boost Technology on, by Intel as of April 2025. Software: CUDA runtime version: 12080. CUDA driver version: 12080. NVIDIA driver: 570.133.20. PyPerformance: Python benchmark suite 1.11.0, https://github.com/python/pyperformance. NVbandwidth: nvbandwidth version 0.7, https://github.com/NVIDIA/nvbandwidth. TensorRT-LLM: TensorRT-LLM version 0.17.0, https://github.com/NVIDIA/TensorRT-LLM/, container: tensorrt_llm/release: 0a8915a87949, Python v3.12. BioGPT: BioGPT ver e836018, Python v3.12. SVS Similarity Search: Graph-based similarity search on DataSets Wiki45M (45 million vectors, 1,536 dimensionality) SVS-FP16 (AMD EPYC 9575F) SVS-VectorCompression with Intel optimizations (Intel), Library: robin-map/fmtlib/eve/tomlplusplus/pybind11/MKL/spdlog/catch2/GSL narrow. SVS Inverted Index Construction: IVF-based index construction for vector search, SVS IVF BF16, AMD AOCL 4.2.0 for AMD, OneMKL for Intel, Build times are an average of five runs, number of centroids used: 70K for Wiki-45M. ⁵ See [7D220] intel.com/processorclaims: Intel Xeon 6. Results may vary. ### Learn about additional benefits that Intel Xeon 6 processors can deliver ### as the host CPU of choice for AI-accelerated systems: intel.com/content/www/us/en/products/details/processors/xeon.html ### See how Intel Xeon 6 processors enhance AI/HPC workloads. ### Examine the latest workload performance metrics: https://edc.intel.com/content/www/us/en/products/performance/benchmarks/intel-xeon-6/ ### Review product specifications and find the best processor ### for your unique computing needs: https://ark.intel.com/content/www/us/en/ark/products/series/595/intel-xeon-processors.html _[Page 1 contains 4 image(s)]_ **Table (page 1)** ### Source Document: [Download](https://cdrdv2.intel.com/v1/dl/getContent/842667?fileName=Intel+Xeon+6+as+AI+Host+CPU+Infographic_TW.pdf) ## 加速創新： ## 選擇 Intel® Xeon® 6 處理器 ## 作為主機 CPU 推動 AI ## 成功的五大理由 ## 使用 Intel® Xeon® 6 處理器作為首選的主機 CPU， ## 設計先進的 AI 加速系統，用於執行各種要求 ## 嚴苛的 AI 工作負載。 ## 為什麼要選擇 Intel® Xeon® 6 處理器 ## 作為主機 CPU？ ## Intel® Xeon® 6 處理器是全球最強大 AI 加速器平台首選的主機 CPU， ## 也是這類系統中通過最多基準測試的主機處理器1。 ## AI 系統的效能和利用率需要仰賴 CPU 主機來協調運算、管理輸入/ ## 輸出 (I/O) 流量，以及保持高效運作的輸送量。為 AI 系統選擇合適的 ## CPU 有助於緩解瓶頸，且能增加訓練和推論工作負載的工作時間。 ## 以下提出五大理由，說明為什麼 Intel® Xeon® 6 處理器是 AI 加速系統 ## 主機 CPU 的最佳選擇。 ## 4 ## Intel® Xeon® 6 處理器 2DPC 配置 ## 提升高達 18% 的 ## 記憶體速度 ## (相較於最新的 ## AMD EPYC 處理器)2。 ## 最多可達 ## 每 CPU 128 P-core， ## 每插槽核心數是 ## 上一代處理器的兩倍。 ## 64 核心 Intel® Xeon® 6776P ## 處理器搭載 Intel® PCT 核心， ## 以 4.6 GHz 頻率提升 ## 高達 17% 的頻率 ## (相較於 Intel® Xeon® 6767P ## 處理器)4。 ## Intel® Xeon® 6 處理器搭載 ## P-core 及啟用 Intel® Scalable ## Vector Search (Intel® SVS) ## 最佳化技術，能夠 ## 提升高達 2.6 倍的 ## 向量索引及搜尋功能 ## (相較於 ## AMD EPYC 9575F 處理器)⁵。 ## Intel® AMX 包含 ## 新增的 FP16 ## 精確度運算支援， ## 以支援 AI 加速系統的資料 ## 預處理和 ## 其他主機 CPU 功能。 ## MRDIMM 提供 ## 高達 2.3 倍的 ## 記憶體頻寬 ## (相較於第五代 ## Intel® Xeon® 處理器)3。 ## 更高的記憶體容量和頻寬 ## 以最新一代 PCIe 提供 ## 卓越的 I/O 支援 ## 專屬 RAS 支援 ## 提升單執行緒效能 ## 利用 Intel® AMX 指令加速向量 ## 資料庫處理 ### 訓練大型生成式 AI 模型需要大量記憶體容量來儲存 ### 模型參數和權重，然後再將模型傳送到 GPU。一般 ### 而言，這類加速 AI 系統支援的 CPU 記憶體容量，應 ### 達到每系統 GPU 記憶體容量的 2 倍，亦即 8 個 288 ### GB 的 GPU 需要每系統 4.6 TB 的 CPU 記憶體容量 ### (8 x 288 GB)。Intel® Xeon® 6776P 處理器配備 128 GB ### DIMM，採用每通道 2 個 DIMM (2DPC) 的配置，可 ### 支援超過 4.6 TB 的 CPU 記憶體容量，每系統最高可 ### 達 8 TB。2DPC 配置提供訓練大型模型所需的系統記 ### 憶體容量，並實現最佳的記憶體效能和整體擁有成本 ### (TCO)²。 ### 除此之外，搭載 P-core 的 Intel® Xeon® 6 處理器採用 ### 多工陣列式記憶體 (MRDIMM)，提供更高的記憶體 ### 頻寬。這項創新的記憶體技術大幅提高頻寬和效能， ### 同時為需要大量記憶體的 AI 和高效能運算 (HPC) 工作 ### 負載縮短延遲時間。高系統記憶體頻寬對於 GPU 的 ### 大規模推論至關重要，尤其推論過程中，鍵值 (KV) 快 ### 取大小會由於上下文大小擴增而增加。更高的記憶體頻 ### 寬也扮演另一項重要角色，就是支援新興的代理式 AI ### (Agentic AI) 推論應用；主機 CPU 在這類應用中做為 ### 任務協調者。 ### PCIe 的高效能和通道數量將決定 AI 系統的 I/O 效能， ### 因此需要設計達到最高的 PCIe 通道可用度。Intel® Xeon® ### 處理器提供一系列 32 GB/s PCIe Gen 5 通道，可用於 ### 加速器、網路和儲存工作負載，包括從 Intel® Xeon® ### 6900P 處理器雙插槽配置的 192 條通道，乃至於 ### Intel® Xeon® 6700P 單插槽配置的 136 條通道。 ### 更高的 I/O 頻寬可以加速資料卸載並提高作業效率。 ### 更高的 PCIe 通道數有助於容納高輸送量 GPU、網路 ### 介面控制器 (NIC) 和儲存裝置。 ### 正常運作時間是系統最佳化的關鍵所在。Intel® 以領先 ### 業界的可靠性、可用性與可維護性 (RAS) 支援，提供 ### 監控和控制功能，協助系統以最佳效能持續運作，並減少 ### 加速 AI 系統代價高昂的停機時間。進階管理功能包括 ### 遙測、平台監控、共享資源控制和即時韌體更新。 ### 加速 AI 系統至少需要達到 8-12 個 CPU 核心對 1 個 GPU ### 的比例，而 Intel® Xeon® 6 處理器提供的每插槽核心數是 ### 上一代處理器的 2 倍。處理器的單執行緒核心效能可將 ### 資料加速傳輸到 GPU 加速器，以增加可用的 GPU 處理 ### 時間及縮短模型訓練時間，同時也有助於主機 CPU 關鍵 ### 的資料預處理功能。 ### Intel® Xeon® 6 處理器搭載效能核心 (P-Core)，採用特定 ### SKU 搭配 Intel® Priority Core Turbo (Intel® PCT) 技術， ### 可讓八個優先核心以更高頻率動態運作。這樣能夠加速 ### 與記憶體之間的模型參數與權重資料傳輸，並協調源自 ### GPU 或加速器型系統的任務。其餘核心則以基本頻率 ### 運作，以確保 CPU 資源達到最理想的分配狀態。Intel® ### PCT 技術使 GPU 能夠以最高效率運作，讓每 GPU 享有 ### 適量的高頻率核心，協助提高系統利用率，對需要按照 ### 順序或序列處理的工作負載而言至關重要。適量核心以 ### 高頻率運作，可實現最理想的 TDP 功耗。 ### 將資料載入到 AI 加速器可能會限制 GPU 利用 ### 率，因為 GPU 在資料載入完成前會處於閒置狀態。 ### 利用向量資料庫有助於提高資料載入速度，並提高 ### 整體 GPU 效率。Intel® Xeon® 6 處理器採用 Intel® ### Advanced Matrix Extensions (Intel® AMX) 指令集， ### 可提高向量處理能力。 ### Intel® Xeon® 6 處理器以 Intel® AMX 提供適中的 AI 運 ### 算能力，可作為主機 CPU 支援各種任務，提供系統 ### 效能和效率。 ## 進一步了解 Intel® Xeon® 6 處理器作為 AI 加速系統 ## 首選主機 CPU 的更多效益： ## https://www.intel.com.tw/content/www/tw/zh/products/details/processors/xeon.html ## 了解 Intel® Xeon® 處理器如何強化 AI/HPC 工作負載。 ## 查看最新的工作負載效能指標： ## https://edc.intel.com/content/www/tw/zh/products/performance/benchmarks/intel-xeon-6/ ## 查看產品規格，找到最適合您獨特運算需求的處理器： ## https://www.intel.com.tw/content/www/tw/zh/ark/products/series/595/intel-xeon-processors.html 法律聲明與免責聲明 效能可能會因使用方式、配置和其他因素而有所不同。請至 www.Intel.com/PerformanceIndex 進一步了解。 效能結果係依配置中所示日期的測試為準，且可能無法反映所有公開可用的更新。詳情請見公開配置資料。 任何產品或元件都無法提供絕對的安全性。 您的成本和成果可能有所差異。 Intel 技術可能需要搭配支援的硬體、特定軟體或啟動服務才能使用。 © Intel 公司。Intel、Intel 圖誌和其它 Intel 標誌是 Intel 公司或其子公司的商標。其他名稱與品牌可能業經宣告為他人之財產。 於美國印刷0725/DR/PRW/PDF。請回收363270-002US 附註 ¹ 根據 2024 年的 MLPerf 評測基準測試。詳情請見 https://mlcommons.org/。 2 Intel® Xeon® 6700P 處理器上 2S 系統的 8 通道 2DPC。每插槽 16 個 DIMM，總計 32 個 DIMM。比較每秒 5,200 百萬次傳輸 (MT/s)RDIMM 速度與第五代 AMD EPYC 處理器的 4,400 MT/s RDIMM 速度。 3 依據截至 2024 年 5 月的 Intel 分析結果。基準配置：單節點、2 個 Intel® Xeon® Platinum 8592+ 處理器、64 核心、Intel® 超執行緒技術(Intel® 超執行緒技術) 已開 啟、Intel® 渦輪加速技術已開啟、NUMA 配置 SNC2、總記憶體 1,024 GB (16 x 64 GB DDR5 5,600 MT/s)、BIOS 版本 3B07。TEL2P1、微碼 0x21000200、Ubuntu 24.04、Linux 版本 6.8.0-31-generic，由 Intel 於 2024 年 5 月測試。新配置：單節點預生產平台、2 個Intel® Xeon® 6 處理器 (搭載 P-core)、Intel® 超執行緒技術已開 啟、Intel® 渦輪加速技術已開啟、NUMA 配置 SNC3、總記憶體 3,072 GB (24 x 128 GB MCR 8,800 MT/s)、BIOS 版本 BHSDCRB1。IPC.0031.D97.2404192148、 微碼 0x81000200、Ubuntu 23.10、核心版本 6.5.0-28-generic。軟體：NEMO v4.2.2。CMCC 的 ORCA025 資料集。Intel® Fortran Compiler Classic 和 Intel® MPI (自 2024.1 起)；Intel® oneAPI HPC Toolkit。編譯器旗標「-i4 -r8 -O3 -xCORE-AVX2 -fno-alias -fp-model fast=2 -align array64byte -fimf-use-svml=true。」 4 Intel 分析截至 2025 年 4 月的測試。基準配置：單節點、2 個 Intel® Xeon® 6 6767P 處理器、64 核心、350W TDP、超執行緒開啟、渦輪加速開啟、總記憶體 1024 GB (16 x 64 GB DDR5 8,800 MT/s [8,000 MT/s])、BIOS 版本 F17、微碼 0x1000380、2 個 10GBASE-T 乙太網路控制器 X710、2 個 QSFP 乙太網路控制 器 E810-C、1 個 3.5T INTEL SSDPF2KX038TZ、2 個 NVIDIA H100 NVL PCIe GPU、Ubuntu 24.04.2 LTS、6.8.0-54-generic。Intel 截至 2025 年 4 月的測 試。新配置：單節點、2 個 Intel® Xeon® 6 6776P 處理器(預生產版)、64 核心、350W TDP、超執行緒開啟、渦輪開啟、總記憶體 1,024 GB (16 x 64 GB DDR5 8,800 MT/s [8,000 MT/s])、BIOS F17、微碼 0x1000380。2 個 10GBASE-T 乙太網路控制器 X710、2 個 QSFP 乙太網路控制器 E810-C、1 個 3.5T INTEL SSDPF2KX038TZ、2 個 NVIDIA H100 NVL PCIe GPU、Ubuntu 24.04.2 LTS、6.8.0-54-generic。Intel 截至 2025 年 4 月的測試。軟體：CUDA 執行階段 版本：12080。CUDA 驅動程式版本：12080。NVIDIA 驅動程式：570.133.20。PyPerformance：Python 基準測試套件 1.11.0，https://github.com/python/ pyperformance。NVbandwidth：nvbandwidth 版本 0.7，https://github.com/NVIDIA/nvbandwidth。TensorRT-LLM：TensorRT-LLM 版本 0.17.0，https://github. com/NVIDIA/TensorRT-LLM/，容器：tensorrt_llm/release：0a8915a87949，Python v3.12。BioGPT：BioGPT 版本 e836018，Python v3.12。SVS 相似性搜尋： 基於圖形的相似性搜尋：資料集 Wiki45M (4,500 萬個向量，1,536 個維度) SVS-FP16 (AMD EPYC 9575F) SVS-VectorCompression採用 Intel® 最佳化技術 (Intel®)， 函式庫：robin-map/fmtlib/eve/tomlplusplus/pybind11/MKL/spdlog/catch2/GSL narrow。SVS 反向索引建置：基於 IVF 的索引建構 (用於向量搜尋)、SVS IVF BF16 、AMD AOCL 4.2.0 (用於 AMD)、OneMKL (用於 Intel)、建構時間為 5 次執行的平均值、使用的形心數量：70K 用於 Wiki-45M。 ⁵ 請參見 [7D220]intel.com/processorclaims：Intel® Xeon® 6。結果可能有所差異。 ## 比上一代產品 ## 增加 20% 的 PCIe 通道數量， ## 大幅提升 I/O 頻寬。 ## 搭載 P-core 的 ## Intel® Xeon® 6 處理器 ## 可在每部 2S 伺服器提供高達 ## 192 條 PCIe 5.0 通道， ## 而採用最新 AMD EPYC ## 處理器的 2S 配置僅可 ## 提供 160 條通道。 ## Intel® Xeon® 6 處理器專門設計用於 ## 達到最長的正常運作時間 ## 及最高的作業效率， ## 盡可能減少業務中斷。 _[Page 1 contains 1 image(s)]_ ### Source Document: [Download](https://cdrdv2.intel.com/v1/dl/getContent/842667?fileName=xeon-6-processors-with-p-cores-ig-french.pdf) ## Accélérer l'innovation : ## 5 raisons de choisir les ## processeurs Intel® Xeon® 6 ## comme CPU hôtes pour réussir avec l'IA ### Concevez un système avancé accéléré par ### l'IA pouvant exécuter des charges de travail ### IA exigeantes en utilisant les processeurs ### Intel® Xeon® 6 comme CPU hôtes de choix. ## Pourquoi choisir les processeurs Intel® Xeon® 6 comme CPU hôtes ? ## Les processeurs Intel® Xeon® sont des CPU hôtes de choix pour les ## plateformes d'accélération IA les plus puissantes au monde. Ils sont les ## processeurs hôtes les plus testés pour ces systèmes.1 ## Les performances et l'utilisation des systèmes d'IA dépendent du CPU hôte ## pour coordonner les calculs, gérer le trafic d'entrée/sortie (E/S) et maintenir ## un débit efficace. Choisir le CPU adapté à votre système IA peut vous aider à ## réduire les goulots d'étranglement et à augmenter le temps disponible pour les ## tâches d'entraînement et d'inférence. ## Voici cinq raisons pour lesquelles les processeurs Intel® Xeon® 6 constituent le ## meilleur choix en tant que CPU hôtes dans les systèmes accélérés par l'IA. La configuration 2DPC sur les processeurs Intel® Xeon® 6 offre ### des vitesses de mémoire ### jusqu'à 18 % plus élevées que celles du dernier processeur AMD EPYC.2 Avec jusqu'à ### 128 P-cores par CPU, vous disposez de deux fois plus de cœurs par socket que la génération précédente. Le processeur Intel® Xeon® 6776P à 64 cœurs, doté de cœurs Intel® PCT et d'une fréquence de 4,6 GHz, offre ### un gain de fréquence pouvant ### atteindre 17 % par rapport au processeur Intel® Xeon® 6767P.4 Les processeurs Intel® Xeon® 6 avec P-cores et les optimisations Intel® SVS (Intel® Scalable Vector Search) peuvent permettre ### d'améliorer l'indexation et ### la recherche vectorielles ### jusqu'à 2,6 fois par rapport aux processeurs AMD EPYC 9575F.⁵ Intel® AMX prend désormais en charge ### l'arithmétique ### de précision FP16 afin de faciliter le prétraitement des données et d'autres tâches du CPU hôte dans les systèmes accélérés par l'IA. Les MRDIMM offrent une ### bande passante mémoire ### jusqu'à 2,3 fois supérieure à celle des processeurs Intel® Xeon® de 5e génération.3 ## Capacité de mémoire et bande ## passante mémoire supérieures ## Prise en charge des E/S supérieure avec ## la technologie PCIe de dernière génération ## Assistance RAS dédiée ## Performances ## monothread améliorées ## Accélérer le traitement des bases de données ## vectorielles grâce aux instructions Intel® AMX L'entraînement de grands modèles d'IA générative nécessite une grande capacité mémoire pour stocker les paramètres et pondérations des modèles avant que ceux-ci ne soient envoyés au GPU. En règle générale, ces systèmes d'IA accélérés doivent prendre en charge une capacité de mémoire CPU deux fois supérieure à la mémoire GPU par système, ce qui signifie que huit GPU de 288 Go nécessiteraient une capacité de mémoire CPU de 4,6 To par système (8 x 288 Go). Le processeur Intel® Xeon® 6776P avec des barrettes DIMM de 128 Go dans une configuration 2 DIMM par canal (2DPC) peut prendre en charge des capacités de mémoire CPU supérieures à 4,6 To, jusqu'à 8 To par système. La configuration 2DPC fournit la capacité de mémoire système nécessaire pour entraîner de grands modèles et offre des performances de mémoire et un coût total de possession (TCO) optimaux.² De plus, les processeurs Intel® Xeon® 6 avec P-cores utilisent des barrettes DIMM multiplexées (MRDIMM) pour offrir une bande passante mémoire plus élevée. Cette technologie de mémoire innovante augmente la bande passante et les performances tout en réduisant la latence pour les charges de travail d'IA et de calcul haute performance (HPC) liées à la mémoire. Une bande passante élevée de la mémoire système est importante pour une inférence à grande échelle sur les GPU, en particulier avec l'augmentation de la taille du cache de valeurs-clés (KV) due à l'augmentation de la taille des contextes pendant l'inférence. Une bande passante mémoire supérieure est également importante pour prendre en charge l'émergence de nouvelles applications d'inférence d'IA agentique, où le CPU hôte sert d'orchestrateur des tâches. Les performances élevées et les nombres de voies PCIe déterminent les performances d'E/S d'un système d'IA, qui doit être conçu pour offrir une disponibilité maximale des voies PCIe. Les processeurs Intel® Xeon® offrent une gamme de voies PCIe Gen 5 de 32 Go/s pour les charges de travail liées aux accélérateurs, aux réseaux et au stockage, allant de 192 voies dans une configuration à deux sockets pour le processeur Intel® Xeon® 6900P à 136 voies dans une configuration à un socket pour le processeur Intel® Xeon® 6700P. Une bande passante E/S supérieure accélère les transferts de données et améliore l'efficacité opérationnelle. Un nombre plus élevé de voies PCIe permet de prendre en charge des GPU, des contrôleurs d'interface réseau (NIC) et des périphériques de stockage à haut débit. La disponibilité est la clé de l'optimisation des systèmes. L'assistance Intel en matière de fiabilité, de disponibilité et de facilité d'entretien (RAS, Reliability, Availability and Serviceability), à la pointe du secteur, offre des capacités de suivi et de contrôle permettant de maintenir les systèmes à un niveau de performance optimal et de réduire les temps d'arrêt coûteux pour les systèmes d'IA accélérés. Les fonctionnalités de gestion avancées comprennent la télémétrie, la surveillance de la plateforme, le contrôle des ressources partagées et les mises à jour du firmware en temps réel. Les systèmes d'IA accélérés nécessitent un rapport minimum de 8 à 12 cœurs CPU pour 1 GPU, et les processeurs Intel® Xeon® 6 offrent deux fois plus de cœurs par socket que la génération précédente. Les performances des cœurs monothread des processeurs permettent des transferts de données plus rapides vers les accélérateurs GPU, augmentant ainsi le temps disponible pour le traitement GPU et raccourcissant le temps nécessaire à l'entraînement des modèles, ce qui facilite également le prétraitement des données, une fonction essentielle du CPU hôte. Les processeurs Intel® Xeon® 6 avec Performance- cores (P-cores) sont équipés de la technologie Intel® PCT (Intel® Priority Core Turbo), qui permet à huit cœurs prioritaires de fonctionner de manière dynamique à une fréquence plus élevée. Cela permet un transfert plus rapide des paramètres et des pondérations du modèle vers/depuis la mémoire et l'orchestration des tâches provenant du GPU ou du système basé sur un accélérateur. Les cœurs restants fonctionnent à une fréquence de base, ce qui assure une répartition optimale des ressources du CPU. La technologie Intel® PCT permet aux GPU de fonctionner à leur niveau d'efficacité maximal, optimisant ainsi l'utilisation du système, une capacité essentielle pour les charges de travail qui nécessitent un traitement séquentiel ou en série, avec le volume approprié de cœurs haute fréquence par GPU. Le nombre adéquat de cœurs fonctionnant à haute fréquence permet d'obtenir une puissance TDP optimale. Le chargement des données vers les accélérateurs d'IA peut entraîner un goulot d'étranglement dans l'utilisation des GPU, car ceux-ci restent inactifs jusqu'à ce que les données soient chargées. L'utilisation d'une base de données vectorielle peut améliorer la vitesse de chargement des données et augmenter l'efficacité globale des GPU. Les processeurs Intel® Xeon® 6 sont équipés d'Intel® AMX (Intel® Advanced Matrix Extensions), un jeu d'instructions qui améliore le traitement vectoriel. Dotés de capacités de calcul IA modérées via Intel® AMX, les processeurs Intel® Xeon® 6 sont conçus pour prendre en charge une grande variété de tâches en tant que CPU hôtes, offrant ainsi des performances et une efficacité système optimales. ### Découvrez les autres avantages que peuvent offrir les processeurs Intel® Xeon® 6 ### en tant que CPU hôte de choix pour les systèmes accélérés par l'IA : https://www.intel.fr/content/www/fr/fr/products/details/processors/xeon.html ### Découvrez comment les processeurs Intel® Xeon® 6 optimisent les charges de travail IA/HPC. ### Examinez les dernières mesures relatives aux performances des charges de travail : ### Consultez les caractéristiques des produits et trouvez le processeur le mieux ### adapté à vos besoins informatiques spécifiques : https://www.intel.fr/content/www/fr/fr/ark/products/series/595/intel-xeon-processors.html Avertissements et informations importantes Les performances varient en fonction de l'utilisation, de la configuration et d'autres facteurs. Pour en savoir plus, consultez le site www.Intel.com/PerformanceIndex. Les résultats de performance s'appuient sur les tests réalisés aux dates indiquées dans les configurations et peuvent ne pas refléter toutes les mises à jour de sécurité disponibles. Pour obtenir plus de détails, veuillez lire les informations de configuration. Aucun produit ou composant ne saurait être totalement sécurisé. Vos coûts et résultats peuvent varier. Les technologies Intel peuvent nécessiter du matériel compatible, des logiciels spécifiques ou l'activation de certains services. © Intel Corporation. Intel, le logo Intel et les autres marques Intel sont des marques commerciales d'Intel Corporation ou de ses filiales. Les autres noms et marques peuvent être revendiqués comme la propriété de tiers. Imprimé aux États-Unis 0725/DR/PRW/PDF Pensez à recycler le papier Notes ¹ Sur la base de tests du banc d'essai MLPerf effectués en 2024. Pour plus d'informations, rendez-vous sur https://mlcommons.org/. 2 2DPC à 8 canaux pour un système 2S sur un processeur Intel® Xeon® 6700P. 16 barrettes DIMM par socket, soit un total de 32 barrettes DIMM. Comparaison entre une vitesse RDIMM de 5 200 mégatransfers par seconde (MT/s) et une vitesse RDIMM de 4 400 MT/s sur un processeur AMD EPYC de 5e génération. 3 D'après une analyse Intel réalisée en mai 2024. Référence : 1 nœud, 2 processeurs Intel® Xeon® Platinum 8592+, 64 cœurs, technologie Intel® Hyper-Threading (technologie Intel® HT) activée, technologie Intel® Turbo Boost activée, configuration NUMA SNC2, 1 024 Go de mémoire totale (16 x 64 Go DDR5 5 600 MT/s), BIOS version 3B07. TEL2P1, microcode 0x21000200, Ubuntu 24.04, Linux version 6.8.0-31-generic, testés par Intel en mai 2024. Nouveau : 1 nœud, plateforme de préproduction, 2 processeurs Intel® Xeon® 6 avec P-cores, technologie Intel® HT, technologie Intel® Turbo Boost activée, configuration NUMA SNC3, 3 072 Go de mémoire totale (24 x 128 Go MCR 8 800 MT/s), BIOS version BHSDCRB1. IPC.0031. D97.2404192148, microcode 0x81000200, Ubuntu 23.10, kernelbversion 6.5.0-28-generic. Logiciel : NEMO v4.2.2. Ensemble de données ORCA025 provenant de CMCC. Intel® Fortran Compiler Classic et Intel® MPI à partir de 2024.1 ; Intel® oneAPI HPC Toolkit. Indicateurs du compilateur « -i4 -r8 -O3 -xCORE-AVX2 -fno-alias -fp-model fast=2 -align array64byte -fimf-use-svml=true. » 4 Test réalisé par Intel en avril 2025. Référence : 1 nœud, 2 processeurs Intel® Xeon® 6 6767P, 64 cœurs, TDP de 350 W, technologie Intel® HT activée, technologie Intel® Turbo Boost activée, mémoire totale de 1 024 Go (16 x 64 Go DDR5 8 800 MT/s [8 000 MT/s]), BIOS F17, microcode 0x1000380, 2 contrôleurs Ethernet X710 pour 10GBASE-T, 2 contrôleurs Ethernet E810-C pour QSFP, 1 SSD INTEL SSDPF2KX038TZ, 2 GPU NVIDIA H100 NVL PCIe, Ubuntu 24.04.2 LTS, 6.8.0-54-generic. Test réalisé par Intel en avril 2025. Nouveau : 1 nœud, 2 processeurs Intel® Xeon® 6776P (préproduction), 64 cœurs, TDP de 350 W, technologie Intel® HT activée, technologie Intel® Turbo Boost activée, mémoire totale 1 024 Go (16 x 64 Go DDR5 8 800 MT/s [8 000 MT/s]), BIOS F17, microcode 0x1000380, 2 contrôleurs Ethernet X710 pour 10GBASE-T, 2 contrôleurs Ethernet E810-C pour QSFP, 1 SSD INTEL 3,5T PF2KX038TZ, 2 GPU NVIDIA H100 NVL PCIe, Ubuntu 24.04.2 LTS, 6.8.0-54-generic. Test réalisé par Intel en avril 2025. Logiciel : CUDA Version d'exécution : 12080. Version du pilote CUDA : 12080. Pilote NVIDIA : 570.133.20. PyPerformance : suite de tests de performance Python 1.11.0, https://github.com/python/pyperformance. NVbandwidth: nvbandwidth ver 0.7, https://github.com/NVIDIA/nvbandwidth. TensorRT-LLM : TensorRT-LLM ver 0.17.0, https://github.com/NVIDIA/TensorRT-LLM/, conteneur : tensorrt_llm/version : 0a8915a87949, Python v3.12. BioGPT : BioGPT ver e836018, Python v3.12. Recherche par similarité SVS : recherche par similarité basée sur des graphes sur DataSets Wiki45M (45 millions de vecteurs, 1 536 dimensionnalité) SVS- FP16 (AMD EPYC 9575F) avec compression vectorielle SVS-FP16 avec optimisations Intel (Intel), bibliothèque : robin-map/fmtlib/eve/tomlplusplus/pybind11/MKL/spdlog/ catch2/GSL narrow. Construction d'index inversé SVS : construction d'index basée sur IVF pour la recherche vectorielle, SVS IVF BF16, AMD AOCL 4.2.0 pour AMD, OneMKL pour Intel, les temps de compilation sont une moyenne de 5 exécutions, nombre de centroïdes utilisés : 70 000 pour Wiki-45M. ⁵ Voir [7D220] intel.com/processorclaims : Intel® Xeon® 6. Les résultats effectifs peuvent varier. Augmentez la bande passante des E/S avec jusqu'à ### 20 % de voies PCIe en plus par rapport à la avec P-cores peuvent fournir ### jusqu'à 192 voies PCIe 5.0 ### par serveur 2S, contre seulement 160 voies dans une configuration 2S avec le dernier processeur AMD EPYC. Réduisez au minimum les interruptions d'activité grâce aux processeurs Intel® Xeon® 6, ### conçus pour optimiser la ### disponibilité et l'efficacité opérationnelle. ### Source Document: [Download](https://cdrdv2.intel.com/v1/dl/getContent/842667?fileName=xeon-6-processors-with-p-cores-ig-german.pdf) ## Innovation beschleunigen: ## 5 Gründe warum Intel® Xeon® 6 ## Prozessoren als Host-CPUs einen ## erfolgreichen KI-Einsatz fördern ### Entwerfen Sie ein fortschrittliches ### KI-beschleunigtes System, das ### anspruchsvolle KI-Workloads ausführen ### kann – mit Intel® Xeon® 6 Prozessoren als ### Host-CPU Ihrer Wahl. ## Warum sollte man Intel® Xeon® 6 Prozessoren als Host-CPUs nutzen? ## Intel® Xeon® Prozessoren kommen in den weltweit leistungsstärksten KI-Beschleuniger- ## plattformen als Host-CPUs zum Einsatz und sind die am häufigsten in Benchmarks ## getesteten Host-Prozessoren für diese Systeme.1 ## Die Leistung und Auslastung von KI-Systemen hängt davon ab, dass der CPU-Host ## die Rechenleistung koordiniert, den I/O-Verkehr (Eingabe/Ausgabe) verwaltet und für ## einen effizienten Durchsatz sorgt. Die Wahl der richtigen CPU für Ihr KI-System trägt ## dazu bei, Engpässe zu beseitigen und mehr Zeit für Training- und Inferenz-Workloads ## zu gewinnen. ## Hier sind fünf Gründe, warum Intel® Xeon® 6 Prozessoren die beste Wahl für Host-CPUs ## in KI-beschleunigten Systemen sind. 2DPC sorgt auf Intel® Xeon® 6 Prozessoren für ### bis zu 18 % höhere ### Speichergeschwindigkeiten im Vergleich zum neuesten AMD EPYC* Prozessor.2 Bis zu ### 128 P-cores pro CPU bieten doppelt so viele Kerne pro Sockel wie die Vorgängergeneration. Der Intel® Xeon® 6776P Prozessor mit 64 Kernen und Intel® PCT erreicht mit 4,6 GHz eine um ### bis zu 17 % höhere ### Taktfrequenz als der Intel® Xeon® 6767P Prozessor.4 Intel® Xeon® 6 Prozessoren mit P-cores und aktivierten Intel® Scalable Vector Search (Intel® SVS) Optimierungen ### steigern die Leistung von ### Vektorindizierung und-suche ### um das bis 2,6-fache im Vergleich zu AMD EPYC* 9575F Prozessoren.⁵ Intel® AMX unterstützt nun auch ### Berechnungen mit ### FP16-Präzision zur Optimierung von Datenvorverarbeitung und anderen Aufgaben der Host-CPU in KI-beschleunigten Systemen. MRDIMMs bieten eine ### bis zu 2,3 Mal höhere ### Speicherbandbreite Intel® Xeon® Prozessoren der 5. Generation.3 ## Höhere Speicherkapazität und ## -bandbreite ## Überlegene I/O-Unterstützung mit ## PCIe der neuesten Generation ## Dedizierte RAS-Unterstützung ## Verbesserte Single- ## Thread-Leistung ## Schnellere Verarbeitung von ## Vektordatenbanken mit Intel® AMX-Befehlen Das Training großer GenAI-Modelle (generative AI, generative KI) erfordert einen Speicher mit großer Kapazität. Darin werden Modellparameter und -gewichte gespeichert, bevor die Modelle an die GPU übergeben werden. Als allgemeine Richtlinie gilt, dass diese beschleunigten KI-Systeme doppelt so viel CPU-Speicherkapazität wie GPU-Speicher pro System unterstützen sollten. Acht GPUs mit 288 GB würden also eine CPU- Speicherkapazität von 4,6 TB pro System erfordern. Der Intel® Xeon® 6776P Prozessor mit 128 GB DIMMs in einer 2DPC-Konfiguration (2 DIMMs pro Kanal) unterstützt CPU-Speicherkapazitäten über 4,6 TB hinaus – bis zu 8 TB pro System. Die 2DPC- Konfiguration stellt die für das Training großer KI-Modelle erforderliche Systemspeicherkapazität bereit und bietet zugleich hohe Speicherleistung sowie niedrige Gesamtbetriebskosten (TCO).² Außerdem nutzen Intel® Xeon® 6 Prozessoren mit P-cores MRDIMMs (Multiplexed Rank DIMMs). Dadurch erreichen sie eine höhere Speicherbandbreite. Diese innovative Speichertechnologie steigert Bandbreite und Leistung. Sie reduziert außerdem die Latenz bei speichergebundenen KI- und HPC-Workloads. Eine hohe Systemspeicherbandbreite ist wichtig für groß angelegte Inferenz auf GPUs, insbesondere da die Größe des Key-Value-Cache (KV-Cache) während der Inferenz aufgrund größerer Kontextfenster zunimmt. Eine höhere Speicherbandbreite ist auch wichtig, um neue agentische KI-Inferenzanwendungen zu unterstützen, bei denen die Host-CPU als Task-Orchestrator fungiert. Die Höhe der PCIe-Leistung und die Anzahl der Lanes bestimmen die I/O-Leistung eines KI- Systems, das für maximale PCIe-Lane-Verfügbarkeit ausgelegt sein muss. Intel® Xeon® Prozessoren bieten eine unterschiedliche Anzahl von 32 GB/s PCIe-Lanes der 5. Generation für Beschleuniger-, Netzwerk- und Storage-Workloads – von 136 Lanes bei einem Intel® Xeon® 6700P Prozessor in einer Ein-Sockel-Konfiguration bis zu 192 Lanes bei einem Intel® Xeon® 6900P Prozessor in einer Dual-Sockel- Konfiguration. Eine höhere I/O-Bandbreite beschleunigt das Auslagern der Daten und steigert so die betriebliche Effizienz. Eine höhere Anzahl von PCIe- Lanes ermöglicht den Einsatz von GPUs, NICs (Netzwerkkarten) und Storage-Geräten mit hohem Durchsatz. Die Verfügbarkeit ist der Schlüssel zur Systemoptimierung. Die branchenführende RAS- Unterstützung (Reliability, Availability, Serviceability; Zuverlässigkeit, Verfügbarkeit, Wartbarkeit) von Intel bietet umfassende Überwachungs- und Steuerungsfunktionen. Sie halten Systeme mit optimaler Leistung am Laufen und reduzieren kostspielige Ausfallzeiten bei beschleunigten KI- Systemen. Zu den erweiterten Managementfunktionen gehören Telemetrie, Plattformüberwachung, Kontrolle über gemeinsam genutzte Ressourcen und Firmware- Updates in Echtzeit. Beschleunigte KI-Systeme erfordern mindestens 8 bis 12 CPU-Kerne pro GPU. Intel® Xeon® 6 Prozessoren bieten doppelt so viele Kerne pro Sockel wie die Vorgängergeneration. Ihre Single-Thread-Kernleistung ermöglicht schnellere Datenübertragungen zu GPU-Beschleunigern. Dadurch steht mehr Zeit für die GPU-Verarbeitung zur Verfügung und wird die Modelltrainingszeit verkürzt. Davon profitiert auch die Datenvorverarbeitung – eine wichtige Funktion der Host-CPU. Intel® Xeon® 6 Prozessoren mit Performance-cores (P-cores) verfügen bei ausgewählten Modellvarianten über Intel® Priority Core Turbo (Intel® PCT), eine Technologie, dank der 8 priorisierte Kerne dynamisch mit einer höheren Frequenz arbeiten können. Das ermöglicht eine schnellere Übertragung von Modellparametern und -gewichten zum/vom Speicher sowie die Orchestrierung von Tasks, deren Ursprung die GPU oder das beschleunigerbasierte System ist. Die übrigen Kerne arbeiten mit der Basisfrequenz, wodurch eine optimale Verteilung der CPU-Ressourcen gewährleistet ist. Intel® PCT ermöglicht es GPUs, mit maximaler Effizienz zu arbeiten und die Systemauslastung durch die richtige Anzahl an Hochfrequenz-Kernen pro GPU zu steigern– eine entscheidende Fähigkeit für Workloads, die sequentielle oder serielle Verarbeitung erfordern. Die richtige Anzahl von Kernen, die mit hoher Frequenz laufen, ermöglicht eine optimale TDP-Leistung. Das Laden von Daten in KI-Beschleuniger kann die GPU-Auslastung mindern, da die GPUs im Leerlauf bleiben, bis die Daten geladen sind. Die Nutzung einer Vektordatenbank kann die Geschwindigkeit beim Laden von Daten verbessern und so die GPU-Effizienz insgesamt steigern. Intel® Xeon® 6 Prozessoren verfügen über Intel® Advanced Matrix Extensions (Intel® AMX), ein Befehlssatz, der die Vektorverarbeitung verbessert. Mit KI-Rechenleistung auf Basis von Intel® AMX unterstützen Intel® Xeon® 6 Prozessoren als Host- CPUs eine Vielzahl von Aufgaben und liefern dabei hohe Systemleistung und Effizienz. ### Entdecken Sie weitere Vorteile, die Intel® Xeon® 6 Prozessoren als Host-CPU der Wahl ### für KI-beschleunigte Systeme bieten können: intel.de/content/www/de/de/products/details/processors/xeon.html ### Erfahren Sie, wie Intel® Xeon® 6 Prozessoren KI/HPC-Workloads verbessern. ### Sehen Sie sich die neuesten Workload-Leistungskennzahlen an: https://edc.intel.de/content/www/de/de/products/performance/benchmarks/intel-xeon-6/ ### Lesen Sie die Produktspezifikationen, und finden Sie den besten Prozessor für Ihre ### individuellen Rechenanforderungen: https://ark.intel.com/content/www/de/de/ark/products/series/595/intel-xeon-processors.html Rechtliche Hinweise und Disclaimer Die Leistung variiert je nach Verwendung, Konfiguration und anderen Faktoren. Weitere Informationen finden Sie unter www.intel.de/benchmarks. Die Leistungswerte basieren auf Tests, die an den in den Konfigurationen angegebenen Daten durchgeführt wurden und spiegeln möglicherweise nicht alle öffentlich verfügbaren Updates wider. Weitere Einzelheiten finden Sie in den veröffentlichten Konfigurationsdaten. Kein Produkt und keine Komponente bietet absolute Sicherheit. Ihre Kosten und Ergebnisse können variieren. Intel Technik kann entsprechend geeignete Hardware, Software oder die Aktivierung von Diensten erfordern. © Intel Corporation. Intel, das Intel Logo und andere Intel Markenbezeichnungen sind Marken der Intel Corporation oder ihrer Tochtergesellschaften. *Andere Marken oder Produktnamen sind Eigentum der jeweiligen Inhaber. Gedruckt in den USA 0725/DR/PRW/PDF Bitte recyceln 363270-002DE Endnoten ¹ Laut Test mit dem Benchmark MLPerf aus dem Jahr 2024. Weitere Informationen finden Sie unter https://mlcommons.org/. 2 8-Kanal-2DPC für ein 2S-System auf einem Intel® Xeon® 6700P Prozessor. 16 DIMMs pro Sockel (insgesamt 32 DIMMs). Vergleich von RDIMMs mit 5.200 Megatransfers pro Sekunde (MT/s) und RDIMMs mit 4.400 MT/s auf einem AMD EPYC* Prozessor der 5. Generation. 3 Laut einer Analyse von Intel (Stand Mai 2024). Basis: 1 Knoten, 2 x Intel® Xeon® Platinum 8592+ Prozessoren, 64 Kerne, Intel® Hyper-Threading (Intel® HT) aktiviert, Intel® Turbo Boost aktiviert, NUMA-Konfiguration SNC2, 1.024 GB Gesamtspeicher (16 x 64 GB DDR5 mit 5.600 MT/s), BIOS-Version 3B07.TEL2P1, Microcode 0x21000200, Ubuntu 24.04, Linux-Version 6.8.0-31-generic. Getestet von Intel im Mai 2024. Neu: 1 Knoten, Vorserienplattform, 2 x Intel® Xeon® 6 Prozessoren mit P-cores, Intel® HT® aktiviert, Intel® Turbo® Boost aktiviert, NUMA-Konfiguration SNC2, 3.072 GB Gesamtspeicher (24 x 128 GB MCR mit 8.800 MT/s), BIOS-Version BHSDCRB1.IPC.0031.D97.2404192148, Microcode 0x81000200, Ubuntu 23.10, Kernel-Version 6.5.0-28-generic. Software: NEMO v4.2.2. ORCA025-Datensatz des CMCC. Intel® Fortran Compiler Classic und Intel® MPI von 2024.1; Intel® oneAPI HPC Toolkit. Compiler-Flags „-i4 -r8 -O3 -xCORE-AVX2 -fno-alias -fp-model fast=2 -align array64byte -fimf-use-svml=true“. 4 Laut einer Analyse von Intel (Stand April 2025). Basis: 1 Knoten, 2 x Intel® Xeon® 6767P, 64 Kerne, 350 W  TDP, Intel® HT aktiviert, Intel® Turbo Boost aktiviert, Gesamtspeicher 1.024  GB (16  x 64 GB DDR5 mit bis zu 8.800 MT/s [8.000 MT/s]), BIOS F17, Microcode 0x1000380, 2 x Intel® Ethernet-Controller X710 für 10GBASE-T, 2 x Intel® Ethernet-Controller E810 für QSFP, 1 x Intel® SSDPF2KX038T (3,5  TB), NVIDIA H100* NVL PCIe-GPU, Ubuntu 24.04.2 LTS, 6.8.0-54-generic. Getestet von Intel im April 2025. Neu: 1 Knoten, 2 x Intel® Xeon® 6776P (Vorproduktion), 64 Kerne, 350 W TDP, Intel® HT aktiviert, Intel® Turbo Boost aktiviert, Gesamtspeicher 1.024 GB (16 x 64 GB DDR5 mit 8.800 MT/s [8.000 MT/s]), BIOS F17, Microcode 0x1000380, 2 x Intel® Ethernet-Controller X710 für 10GBASE-T, 2 x Ethernet Controller E810-C für QSFP, 1 x INTEL® SSDPF2KX038TZ (3,5 TB), 2 x NVIDIA H100* NVL PCIe-GPU, Ubuntu 24.04.2 LTS, 6.8.0-54-generic. Getestet von Intel im April 2025. Software: CUDA-Runtime-Version: 12080. CUDA-Treiber-Version: 12080. NVIDIA-Treiber: 570.133.20. PyPerformance: Python- Benchmark-Suite 1.11.0, https://github.com/python/pyperformance. NVbandwidth: nvbandwidth Version 0.7, https://github.com/NVIDIA/nvbandwidth. TensorRT-LLM: TensorRT-LLM Version 0.17.0, https://github.com/NVIDIA/TensorRT-LLM/, Container: tensorrt_llm/Release: 0a8915a87949, Python Version 3.12. BioGPT: BioGPT Version e836018, Python-Version 3.12. SVS-Ähnlichkeitssuche: Graph-basierte Ähnlichkeitssuche mit Wiki-45M-Datensatz (45 Millionen Vektoren, 1.536 Dimensionen) SVS-FP16 (AMD EPYC* 9575F) SVS-Vektor-Komprimierung mit Intel-Optimierungen, Bibliothek: robin-map/fmtlib/eve/tomlplus/pybind11/MKL/spdlog/catch2/GSL narrow. SVS-Invertierte-Index-Konstruktion: IVF-basierte Index-Konstruktion für die Vektorsuche, SVS IVF BF16, AMD AOCL 4.2.0 für AMD, OneMKL für Intel, Build- Zeiten sind ein Durchschnitt aus 5 Durchläufen, Anzahl der verwendeten Centroids: 70.000 für Wiki-45M. ⁵ Siehe [7D220] unter intel.com/processorclaims: Intel® Xeon® 6. Die Ergebnisse können von Fall zu Fall abweichen. Steigerung der I/O-Bandbreite mit bis zu ### 20 % mehr PCIe-Lanes als bei der Vorgängergeneration. Intel® Xeon® 6 Prozessoren mit P-cores bieten ### bis zu 192 PCIe-5.0-Lanes pro ### 2S-Server, im Vergleich zu nur 160 Lanes in einer 2S-Konfiguration beim neuesten AMD EPYC* Prozessor. Minimierung der Betriebsunterbrechungen mit Intel® Xeon® 6 Prozessoren, die auf ### maximale Betriebszeit und Effizienz ausgelegt sind. ### Source Document: [Download](https://cdrdv2.intel.com/v1/dl/getContent/842667?fileName=xeon-6-processors-with-p-cores-ig-jp.pdf) ## ホストCPU にインテル® Xeon® 6 プロセッサーを ## 選択するべき理由 ## インテル® Xeon® プロセッサーは、世界最強レベルのAI アクセラレーター・プラットフォー ## ムを構築するホストCPU として選ばれてきました。こうしたシステムで最も多くベンチマー ## ク評価が行われているホスト・プロセッサーでもあります。1 ## AI システムのパフォーマンスと使用率は、演算の調整、入出力（I/O）トラフィックの管理、 ## 効率的なスループットの維持を担う、CPU ホストに依存します。独自のAI システムに適し ## たCPU の選択は、ボトルネックを軽減して、学習処理と推論ワークロードにかける時間を ## 増やすうえでも重要です。 ## ここでは、AI アクセラレーション対応システムのホストCPU としてインテル® Xeon® 6 プロ ## セッサーが最適な選択肢となる5 つの理由を説明します。 ## メモリー容量と帯域幅の拡大 大規模な生成AI モデルの学習処理には、GPU に渡す前にモデ ルのパラメーターや重みを格納しておく、大容量メモリーが不可 欠です。大まかな目安としては、このようなアクセラレーション 対応AI システムの場合、システム全体でGPU メモリー容量の 2 倍に相当するCPU メモリー容量を確保しておく必要があり、 例えばメモリー容量288GB のGPU x8 基ならば、システム当た り4.6TB のCPU メモリー容量が必要になります（288GB x8 の 2 倍)。128GB DIMM を実装するインテル® Xeon® 6776P プロ セッサーをチャネル当たり2 つのDIMM （2 DPC）で構成すると、 4.6TB を超えるCPU メモリー容量を確保でき、システム当たり 最大8TB までサポート可能です。この2 DPC 構成により、大規 模モデルの学習処理に必要なシステムメモリー容量に対応して、 最適なメモリー性能と総保有コスト（TCO）を提供します。2 またインテル® Xeon® 6 プロセッサー（P-cores 採用）では、 多重化ランクDIMM （MRDIMM）を実装することで、メモリー帯 域幅をさらに拡大しました。この革新的なメモリー・テクノロジー によって、AI やハイパフォーマンス・コンピューティング（HPC） などメモリー依存の高いワークロードの帯域幅とパフォーマン スが劇的に向上し、レイテンシーが低減されます。なお、AMD EPYC プロセッサーは現時点でまだこのメモリー技術に対応し ていません。広帯域幅システムメモリーはGPU での大規模推論 処理に、特に推論実行中のコンテキスト・サイズとともにキーバ リュー（KV）キャッシュサイズが増大するにつれて、ますます重 要になっています。メモリー帯域幅の拡大は、ホストCPU がタス クを統合的に制御するオーケストレーターの役割を担う、新しい エージェント型AI 推論アプリケーションをサポートするうえでも 不可欠です。 2 DPC 構成の インテル® Xeon® 6 プロセッサーは 最新のAMD EPYC プロセッサーと比較して ### 最大18% 高速の ### メモリー速度 を実現2 MRDIMM ### 最大2.3 倍 ### メモリー帯域幅を拡大 （第5 世代インテル® Xeon® スケーラブル・プロセッサー との比較3） ## 最新世代のPCIe による ## 卓越したI/O のサポート PCIe の広帯域幅とレーン数は、AI システムのI/O パフォーマ ンスを決定する重要な要素です。そのためPCIe レーンを最大 限に有効活用できるように設計する必要があります。インテル® Xeon® 6 プロセッサーは、アクセラレーター、ネットワーク、 ストレージなど幅広い用途に使用できる32GB/s のPCIe Gen 5 レーンをサポートし、インテル® Xeon® 6 プロセッサー6900P シリーズのデュアルソケット構成では192 レーン、インテル® Xeon® 6 プロセッサー6700P シリーズのシングルソケット 構成では136 レーンを備えています。 I/O 帯域幅が拡大すれば、データのオフロードが高速化し、 運用効率が向上します。PCIe レーン数の増加によって、さらに 多くの高スループットGPU、ネットワーク・インターフェイス・ コントローラー（NIC）、ストレージドライブの実装が可能になり ました。 I/O 帯域幅を拡大する、 前世代と比較して最大 ### 20% 増加したPCIe レーン インテル® Xeon® 6 プロセッサー （P-cores 採用）は ### 2 ソケット構成サーバー当たり ### 最大192 レーンの ### PCIe 5.0 接続 最新AMD EPYC プロセッサーは 2 ソケット構成で160 レーン ## シングルスレッド性能の向上 アクセラレーション対応AI システムでは、1 GPU に対し8 ～ 12 個のCPU コアが必要とされます。インテル® Xeon® 6 プロ セッサーは前世代と比較してソケット当たりのコア数が倍増しま した。シングルスレッドのコア性能は、GPU アクセラレーターへ のデータ転送を高速化するため、GPU 処理に費やせる時間を増 やして、モデルの学習処理時間を短縮します。さらにデータ事前 処理の効率化にもつながりますが、これはホストCPU の重要な 機能の1 つです。 インテル® Xeon® 6 プロセッサー（P-cores 採用）の一部の SKU は、インテル® プライオリティー・コア・ターボ（インテル® PCT）テクノロジーに対応。8 個の優先コアをほかのコアよりも 高い周波数で動かす機能です。そのため、メモリー間のモデル・ パラメーターと重みのデータ転送が高速化し、GPU やアクセ ラレーター・ベースのシステムを起点とするタスクのオーケスト レーションが効率化します。残りのコアは基本動作周波数で維持 され、CPU リソースの最適な分配が可能になります。インテル® PCT テクノロジーを有効にすることで、高周波数で動作する GPU 当たりのコア数が調節され、GPU は最大レベルの効率で 動作が可能になり、シーケンシャルの連続処理が求められるワー クロードで重要な指標とされる、システム使用率が向上します。 高周波数で動作するコア数が適切であれば、熱設計電力（TDP） の最適化にもつながります。 最大 ### 128 個のP-cores （CPU 当たり） 前世代と比較して ソケット当たりのコア数が倍増 インテル® PCT 対応の インテル® Xeon® 6776P プロセッサー （64 コア、4.60GHz）は ### 動作周波数を最大17% 向上 （インテル® Xeon® 6767P プロセッサーとの比較4 ） ## ベクトル型データベースの処理を ## 高速化するインテル® AMX 命令セット AI アクセラレーターへのデータ転送は、読み込みが完了するま でGPU がアイドル状態になるため、GPU 使用率（つまりシス テムの運用効率）のボトルネック発生につながりかねません。 ベクトル型データベースを導入することで、データ転送を高速 化し、全体的なGPU 効率の向上が可能になります。インテル® Xeon® 6 プロセッサーでは、ベクトル演算処理を高速化する 命令セット「インテル® アドバンスト・マトリクス・エクステン ション（インテル® AMX）」を内蔵しました。 ホストCPU として幅広いタスクを処理するために設計された インテル® Xeon® 6 プロセッサーは、インテル® AMX 経由で中 程度のAI コンピューティングを処理し、システム全体のパフォー マンスと効率を高めます。 （P-cores 採用）に インテル® スケーラブル・ベクトル・ サーチ（インテル® SVS）の 最適化を組み合わせ ### 最大2.75 倍 ### ベクトル型データベースの ### インデックス作成と ### 検索を高速化 （AMD EPYC 9575F プロセッサー との比較5） インテル® AMX に ### 新たに加わった ### FP16 精度のサポート により、データの前処理のほかにも AI アクセラレーション・システム上の ホストCPU 演算処理に対応 ## 専用RAS のサポート システム最適化のカギを握るのはアップタイム（稼働時間）です。 インテルが提供する業界トップレベルの信頼性/ 可用性/ 保守 性（RAS）には、最適なパフォーマンスを維持して継続的なシス テム運用を可能にする、監視/ 制御機能が備わっており、甚大な コストが生じるアクセラレーション対応AI システムのダウンタイ ムを削減します。遠隔測定、プラットフォームの監視、共有リソー スの制御、リアルタイムのファームウェア・アップデートを含めた、 高度な運用管理機能を備えています。 運用の中断を最小限に抑え ### 稼働時間の最大化 と運用効率を目的に設計された ### インテル® Xeon® 6 プロセッサーがAI アクセラレーション対応システムの ### 最適なホストCPU としてもたらすさまざまなメリット： ### https://www.intel.co.jp/content/www/jp/ja/products/processors/xeon.html ### AI/HPC ワークロードのパフォーマンスを引き上げるインテル® Xeon® 6 プロセッサーの ### 仕組みと最新のパフォーマンス指標を検証： ### https://edc.intel.com/content/www/us/en/products/performance/benchmarks/intel-xeon-6/ （英語） ### 製品仕様の確認と、固有のコンピューティング要件に合った ### 最適なプロセッサーの選び方： ### https://ark.intel.com/content/www/us/en/ark/products/series/595/intel-xeon-processors.html （英語） 1 2024 年時点のMLPerf ベンチマーク・テストに基づく。詳細は、https://mlcommons.org/ を参照。 2 8 チャネル/2DPC/2 ソケット構成インテル® Xeon® 6 プロセッサー6700P シリーズ搭載システム（ソケット当たり16 DIMM= 合計32 DIMM）の5,200MT/s RDIMM を、第5 世代AMD EPYC プロセッサー搭 載システムの4,400MT/s RDIMM と比較。 3 インテル社内で実施した2024 年5 月時点の分析結果に基づく。ベースライン構成：1 ノード、2x インテル® Xeon® Platinum 8592+ プロセッサー、64 コア、インテル® ハイパースレッディング・テクノロジー （インテル® HT テクノロジー）有効、インテル® ターボ・ブースト・テクノロジー有効、NUMA 構成SNC2、メモリー総容量1,024GB （16x 64GB DDR5 5,600MT/s）、BIOS version 3B07.TEL2P1、マイクロコー ド：0x21000200、Ubuntu 24.04、Linux version 6.8.0-31-generic、2024 年5 月に実施したインテル社内テストで測定。新システムの構成：1 ノード、製品出荷前のプラットフォーム、2x インテル® Xeon® 6 プロセッサー（P-cores 採用）、インテル® HT テクノロジー有効、インテル® ターボ・ブースト・テクノロジー有効、NUMA 構成SNC3、メモリー総容量3,072GB （24x 128GB MCR 8,800MT/s）BIOS version BHSDCRB1.IPC.0031.D97.2404192148、マイクロコード：0x81000200、Ubuntu 23.10、kernel version 6.5.0-28-generic。ソフトウェア： NEMO v4.2.2、ORCA025 データセットCMCC 提供。インテル® Fortran コンパイラー・クラシック、インテル® MPI ライブラリー 2024.1、インテル® oneAPI HPC ツールキット。コンパイラー・フラグ “-i4 -r8 -O3 -xCORE-AVX2 -fno-alias -fp-model fast=2 -align array64byte -fimf-use-svml=true”。 4 インテル社内で実施した2025 年4 月時点の分析結果。ベースライン構成：1 ノード、2x インテル® Xeon® 6767P プロセッサー、64 コア、350W TDP、インテル® HT テクノロジー有効、インテル® ターボ・ブース ト・テクノロジー有効、メモリー総容量1,024GB （16x 64GB DDR5 8,800MT/s [8,000MT/s]）、BIOS F17、マイクロコード0x1000380、2x 10GBASE-T 対応インテル® イーサネット・コントローラー X710、2x QSFP 対応インテル® イーサネット・コントローラーE810-C、1x 3.5T INTEL SSDPF2KX038TZ、2x NVIDIA H100 NVL PCIe GPU、Ubuntu 24.04.2 LTS、6.8.0-54-generic。2025 年4 月に実施したインテル 社内テストで測定。新システムの構成：1 ノード、2x インテル® Xeon® 6776P プロセッサー（製品出荷前）、64 コア、350W TDP、インテル® HT テクノロジー有効、インテル® ターボ・ブースト・テクノロジー有効、 メモリー総容量1,024GB （16x 64GB DDR5 8,800MT/s [8,000MT/s]）、BIOS F17、マイクロコード0x1000380、2x 10GBASE-T 対応インテル® イーサネット・コントローラー X710、2x QSFP 対応インテル® イーサネット・コントローラーE810-C、1x 3.5T INTEL SSDPF2KX038TZ、2x NVIDIA H100 NVL PCIe GPU、Ubuntu 24.04.2 LTS、6.8.0-54-generic。2025 年4 月に実施したインテル社内テストで測定。 ソフトウェア：CUDA Runtime Version: 12080。 CUDA Driver Version: 12080。 NVIDIA Driver: 570.133.20。 PyPerformance: Python benchmark suite 1.11.0: https://github.com/python/pyperformance。 NVbandwidth: nvbandwidth ver 0.7: https://github.com/NVIDIA/nvbandwidth。TensorRT-LLM: TensorRT-LLM ver 0.17.0: https://github.com/NVIDIA/TensorRT-LLM/、コンテナ: tensorrt_llm/release: 0a8915a87949、Python v3.12。 BioGPT: BioGPT ver e836018: https://github.com/intel-innersource/frameworks.ai.end2end-ai-pipelines.bio-gpt/tree/ns_biogpt、Python v3.12。インテル® SVS 類似性 検索：グラフベースの類似性検索をデータセットWiki45M （4,500 万ベクトル、次元数1,536）に対しSVS-FP16 （AMD EPYC 9575F プロセッサー）/SVS-VectorCompression を実行、インテルの最適化を適用。 ライブラリー：robin-map/fmtlib/eve/tomlplusplus/pybind11/MKL/spdlog/catch2/GSL narrow。インテル® SVS 逆引きインデックス構築：ベクトル検索を効率化するIVF ベースのインデックス作成、SVS IVF BF16、AMD AOCL 4.2.0 （AMD）、OneMKL （インテル）、ビルドは平均5 回実行、使用した重心の数：70k （データセットWiki-45M）。 5 https://intel.com/processorclaims/ （英語）：Intel® Xeon® 6 の [7D220] を参照。結果は異なる場合があります。 性能は、使用状況、構成、その他の要因によって異なります。詳細については、https://www.Intel.com/PerformanceIndex/ （英語）を参照してください。 性能の測定結果は、構成に示されている日付時点のテストに基づいています。また、現在公開中のすべてのアップデートが適用されているとは限りません。詳細については、公開されている構成情報を参照してください。 絶対的なセキュリティーを提供できる製品またはコンポーネントはありません。実際のコストや結果は異なる場合があります。 インテルのテクノロジーを使用するには、対応したハードウェア、ソフトウェア、またはサービスの有効化が必要となる場合があります。 Intel、インテル、Intel ロゴ、その他のインテルの名称やロゴは、Intel Corporation またはその子会社の商標です。 その他の社名、製品名などは、一般に各社の表示、商標または登録商標です。 インテル株式会社 〒100-0005 東京都千代田区丸の内1-4-1 丸の内永楽ビル25 階 http://www.intel.co.jp/ ©2025 Intel Corporation. 　無断での引用、転載を禁じます。 2025 年7 月 ## イノベーションの推進： ## AI 導入を成功させるため ## ホストCPU にインテル® Xeon® 6 ## プロセッサーを選択するべき ## 5 つの理由 ### ホストCPU にインテル® Xeon® 6 プロセッサーを選択して、 ### 負荷の高いAI ワークロードを動かす高度な ### AI アクセラレーション対応システムを設計 363270-003JA JPN/2507/PDF/SE/MKTG/TK _[Page 1 contains 5 image(s)]_ ### Source Document: [Download](https://cdrdv2.intel.com/v1/dl/getContent/842667?fileName=Intel+Xeon+6+as+AI+Host+CPU+Infographic_KR.pdf) ## 혁신 가속화: ## AI 성공을 위해 호스트 CPU로 ## 인텔® 제온® 6 프로세서를 ## 선택해야 하는 5가지 이유 ### 고부하 AI 워크로드를 실행할 수 있는 ### 고급 AI 가속 시스템을 설계하려면 ### 호스트 CPU로 인텔® 제온® 6 프로세서를 채택하십시오. ## 왜 호스트 CPU로 ## 인텔® 제온® 6 프로세서를 선택해야 할까요? ## 인텔® 제온® 프로세서는 세계에서 가장 강력한 AI 가속기 플랫폼에 호스트 ## CPU로 가장 널리 사용되고, 이들 시스템에서 가장 많이 벤치마크된 호스트 ## 프로세서입니다.1 ## AI 시스템의 성능과 활용도는 연산을 조정하고 입출력(I/O) 트래픽을 관리하며 ## 처리량을 효율적으로 유지하는 CPU 호스트에 크게 의존합니다. AI 시스템에 ## 적합한 CPU를 선택하면 병목 현상을 완화하고 학습 및 추론 워크로드에 ## 할당되는 실질적인 작업 시간을 늘릴 수 있습니다. ## 다음은 AI 가속 시스템에서 호스트 CPU로 인텔® 제온® 6 프로세서를 선택해야 ## 하는 다섯 가지 이유입니다. 인텔® 제온® 6 프로세서의 2DPC 구성은 최신 AMD EPYC 프로세서 대비 ### 최대 18% ### 더 높은 메모리 속도 를 제공합니다.2 ### CPU당 최대 128개의 P-코어로 이전 세대 대비 소켓당 2배 더 많은 코어를 제공합니다. 인텔® PCT 코어를 탑재한 64코어 인텔® 제온® 6776P 프로세서 (4.6GHz 주파수)는 인텔® 제온® 6767P 프로세서 대비 ### 최대 17%의 주파수 향상 을 제공합니다.4 P-코어 탑재 인텔® 제온® 6 프로세서에 인텔® 스케일러블 벡터 검색(인텔® SVS) 최적화를 적용하면 AMD EPYC 9575F ### 벡터 인덱싱 및 검색 성능을 ### 최대 2.6배까지 향상 시킬 수 있습니다.⁵ 인텔® AMX는 ### FP16 정밀도 연산에 ### 대한 지원이 새롭게 추가 되어 AI 가속 시스템에서 데이터 전처리와 그 외 호스트 CPU 역할을 지원합니다. MRDIMM은 5세대 인텔® 제온® 프로세서 대비 ### 최대 2.3배 ### 더 높은 메모리 대역폭 을 제공합니다.3 ## 더 높은 메모리 용량과 대역폭 ## 최신 세대 PCIe를 통한 우수한 ## I/O 지원 ## 전용 RAS 지원 ## 향상된 단일 스레드 성능 ## 인텔® AMX 명령어로 벡터 데이터베이스 ## 처리 가속 대규모 생성형 AI 모델을 학습시키려면, 모델 파라미터와 가중치를 GPU로 전송하기 전에 저장할 수 있는 큰 메모리 용량이 필요합니다. 일반적인 가이드라인에 따르면, 이러한 가속형 AI 시스템은 시스템당 GPU 메모리의 2배에 해당하는 CPU 메모리 용량을 지원해야 합니다. 예를 들어, 288GB GPU 8개(8 x 288GB = 2.3TB)를 탑재한 시스템은 4.6TB의 CPU 메모리 용량이 필요합니다. 채널당 2개의 DIMM(2DPC) 구성에서 128GB DIMM을 사용하는 인텔® 제온® 6776P 프로세서는 시스템당 4.6TB를 넘어 최대 8TB까지 CPU 메모리 용량을 지원할 수 있습니다. 2DPC 구성은 대규모 모델 학습에 필요한 시스템 메모리 용량을 제공하며, 메모리 성능과 총 소유 비용(TCO) 측면에서도 최적의 결과를 제공합니다.² 또한 P-코어를 탑재한 인텔® 제온® 6 프로세서는 MRDIMM (Multiplexed Rank DIMM)을 사용하여 더 높은 메모리 대역폭을 구현합니다. 이 혁신적인 메모리 기술은 메모리 대역폭과 성능을 향상시키는 동시에, 메모리 병목이 있는 AI 및 고성능 컴퓨팅(HPC) 워크로드의 대기 시간을 줄여줍니다. 높은 시스템 메모리 대역폭은 GPU에서의 대규모 추론에서 중요하며, 특히 추론 시 컨텍스트 길이 증가로 인해 키-값(KV) 캐시 크기가 커지는 상황에서 더욱 중요합니다. 또한 호스트 CPU가 작업 오케스트레이터 역할을 하는 신규 에이전틱 AI 추론 애플리케이션을 지원하는 데에도 높은 메모리 대역폭이 필수적입니다. PCIe 성능과 레인 수는 AI 시스템의 I/O 성능을 좌우합니다. 따라서 AI 시스템은 가능한 최대의 PCIe 레인을 사용할 수 있도록 설계해야 합니다. 인텔® 제온® 프로세서는 가속기, 네트워킹, 스토리지 워크로드를 위해 다양한 32GB/s급 PCIe Gen 5 레인을 제공합니다. 인텔® 제온® 6900P 프로세서의 듀얼 소켓 구성에서는 192개 레인, 인텔® 제온® 6700P의 단일 소켓 구성에서는 136개 레인을 I/O 대역폭은 높을수록 데이터 오프로드를 가속하고. 운영 효율성을 향상시킵니다. PCIe 레인 수는 많을수록 고처리량 GPU, 네트워크 인터페이스 컨트롤러(NIC), 스토리지 장치를 수용하는 데 도움이 됩니다. 시스템 최적화의 핵심은 가동 시간입니다. 인텔은 업계 최고 수준의 RAS(신뢰성, 가용성 및 서비스성) 지원을 통해 모니터링 및 제어 기능을 제공하여 시스템을 최적의 성능으로 계속 가동하고 AI 가속 시스템에서 많은 비용이 드는 다운타임을 줄입니다. 고급 관리 기능에는 텔레메트리, 플랫폼 모니터링, 공유 리소스 제어, 실시간 펌웨어 업데이트 등이 포함됩니다. AI 가속 시스템에서는 GPU 1개당 최소 8~12개의 CPU 코어 비율이 요구되며, 인텔® 제온® 6 프로세서는 이전 세대 대비 소켓당 2배 더 많은 코어를 제공합니다. 이 프로세서의 단일 스레드 코어 성능은 데이터가 GPU 가속기로 더 빠르게 전달되도록 하여 GPU 처리에 할당되는 시간을 늘리고, 모델 학습 시간을 단축하며, 호스트 CPU의 핵심 기능인 데이터 전처리에도 도움을 줍니다. 퍼포먼스 코어(P-코어) 탑재 인텔® 제온® 6 프로세서는 일부 SKU에서 인텔® 우선 코어 터보(인텔® PCT) 기술을 지원하여 8개의 우선 순위 코어가 더 높은 주파수로 동적으로 동작할 수 있도록 합니다. 이를 통해 모델 파라미터와 가중치 데이터를 메모리로부터 또는 메모리로 더 빠르게 전송할 수 있으며, GPU 또는 가속기 기반 시스템에서 발생하는 작업을 효율적으로 오케스트레이션할 수 있습니다. 나머지 코어는 기본 주파수로 동작하여 CPU 리소스가 최적으로 분배되도록 합니다. 인텔® PCT 기술은 GPU가 최대 효율로 동작하도록 하여 시스템 활용도를 높입니다. 이는 순차적 또는 직렬 처리가 필요한 워크로드에서 특히 중요한 역량으로, GPU당 적절한 수의 고주파수 코어 구성을 가능하게 합니다. 적절한 수의 코어를 높은 주파수로 구동하면 TDP 전력도 최적으로 운용할 수 있습니다. 데이터를 AI 가속기로 로드하면 데이터가 로드되는 동안 GPU가 유휴 상태가 되어 GPU 활용에 병목을 일으킬 수 있습니다. 벡터 데이터베이스를 활용하면 데이터 로딩 속도를 높여 전체 GPU 효율성을 향상시킬 수 있습니다. 인텔® 제온® 6 프로세서는 벡터 처리를 개선하는 명령어 집합인 인텔® Advanced Matrix Extensions(인텔® AMX)를 인텔® AMX를 통한 적정 수준의 AI 연산 성능을 바탕으로 , 인텔® 제온® 6 프로세서는 호스트 CPU로서 다양한 작업을 지원하도록 설계되어 시스템 성능과 효율성을 함께 제공합니다. ### AI 가속 시스템의 호스트 CPU로서 ### 인텔® 제온® 6 프로세서가 제공하는 추가 이점에 대한 자세한 내용: https://www.intel.co.kr/content/www/kr/ko/products/details/processors/xeon.html ### 인텔® 제온® 6 프로세서가 AI/HPC 워크로드를 어떻게 향상시키는지, ### 최신 워크로드 성능 메트릭 살펴보기: ### https://edc.intel.com/content/www/kr/ko/products/performance/benchmarks/intel-xeon-6/ ### 제품 사양을 검토하고 ### 고유한 컴퓨팅 요구에 가장 적합한 프로세서 찾아보기: https://www.intel.co.kr/content/www/kr/ko/ark/products/series/595/intel-xeon-processors.html 법적 고지 및 부인 정보 성능은 사용, 구성 및 기타 요인에 따라 다릅니다. www.Intel.com/PerformanceIndex 에서 자세한 정보를 확인하십시오. 성능 결과는 구성에 표시된 날짜에 진행된 테스트를 기반으로 하며 공개된 모든 업데이트가 반영되어 있지 않을 수도 있습니다. 자세한 내용은 구성 공개 정보를 참조하십시오. 어떤 제품 또는 구성 요소도 절대적으로 안전할 수는 없습니다. 비용과 결과는 다를 수 있습니다. 인텔 기술은 지원되는 하드웨어, 소프트웨어 또는 서비스 활성화를 요구할 수 있습니다 © 인텔사. 인텔, 인텔 로고 및 기타 인텔 마크는 인텔사 또는 그 자회사의 상표입니다. 기타 명칭 및 브랜드는 해당 소유업체의 자산입니다. 미국에서 인쇄 0725/DR/PRW/PDF 재활용 해주세요 각주 ¹ 2024년 MLPerf 벤치마크 테스트 기준. 자세한 내용은 https://mlcommons.org/ 참조. 2 인텔® 제온® 6700P 프로세서 기반 2S 시스템에서 8채널 2DPC 구성. 소켓당 16개 DIMM, 총 32개 DIMM. 5세대 AMD EPYC 프로세서의 4,400MT/s RDIMM 속도 대비 5,200MT/s RDIMM 속도 비교. 3 2024년 5월 인텔 분석 기준. 기준 시스템: 1노드, 인텔® 제온® 플래티넘 8592+ 프로세서 2개, 64코어, 인텔® 하이퍼 스레딩 기술(인텔® HT 기술) 활성화, 인텔® 터보 부스트 기술 활성화, NUMA 구성 SNC2, 총 메모리 1,024GB(64GB DDR5 5,600MT/s x 16), BIOS 버전 3B07, TEL2P1, 마이크로코드 0x21000200, Ubuntu 24.04, Linux 버전 6.8.0-31-generic, 2024년 5월 인텔이 테스트 시행. 신규 시스템: 1노드, 사전 프로덕션 플랫폼, P-코어 탑재 인텔® 제온® 6 프로세서 2개, 인텔 HT 기술 활성화, 인텔 터보 부스트 기술 활성화, NUMA 구성 SNC3, 총 메모리 3,072GB(128GB MCR 8,800MT/s x 24), BIOS 버전 BHSDCRB1, IPC.0031. D97.2404192148, 마이크로코드 0x81000200, Ubuntu 23.10, 커널 버전 6.5.0-28-generic. 소프트웨어: NEMO v4.2.2, CMCC의 ORCA025 데이터 세트. 인텔® 포트란 컴파일러 클래식 및 인텔® MPI(2024.1), 인텔® oneAPI HPC 툴킷. 컴파일러 플래그: “-i4 -r8 -O3 -xCORE-AVX2 -fno-alias -fp-model fast=2 -align array64byte -fimf-use-svml=true.” 4 2025년 4월 인텔 분석 테스트. 기준 시스템: 1노드, 인텔® 제온® 6 6767P x 2, 64코어, 350W TDP, HT 활성화, 터보 활성화, 총 메모리 1,024GB(64GB DDR5 8,800MT/ s[8,000MT/s] x 16), BIOS F17, 마이크로코드 0x1000380, 10GBASE-T용 Ethernet Controller X710 x 2, QSFP용 Ethernet Controller E810-C x 2, 3.5TB INTEL SSDPF2KX038TZ x 1, NVIDIA H100 NVL PCIe GPU x 2, Ubuntu 24.04.2 LTS, 6.8.0-54-generic. 2025년 4월 인텔이 테스트 시행. 신규 시스템: 1노드, 인텔® 제온® 6 6776P x 2(사전 프로덕션), 64코어, 350W TDP, HT 활성화, 터보 활성화, 총 메모리 1,024GB(64GB DDR5 8,800MT/s[8,000MT/s] x 16), BIOS F17, 마이크로코드 0x1000380, 10GBASE-T용 Ethernet Controller X710 x 2, QSFP용 Ethernet Controller E810-C x 2, 3.5TB INTEL SSDPF2KX038TZ x 1, NVIDIA H100 NVL PCIe GPU x 2, Ubuntu 24.04.2 LTS, 6.8.0-54-generic. 2025년 4월 인텔이 테스트 시행. 소프트웨어: CUDA 런타임 버전: 12080. CUDA 드라이버 버전: 12080, NVIDIA 드라이버: 570.133.20. PyPerformance: Python 벤치마크 스위트 1.11.0, https://github.com/python/pyperformance. NVbandwidth: nvbandwidth 버전 0.7, https://github.com/NVIDIA/ nvbandwidth. TensorRT-LLM: TensorRT-LLM 버전 0.17.0, https://github.com/NVIDIA/TensorRT-LLM/ 컨테이너: tensorrt_llm/release: 0a8915a87949, Python v3.12. BioGPT: BioGPT 버전 e836018, Python v3.12. SVS Similarity Search: Wiki45M 데이터 세트(4,500만 벡터, 1,536차원)에 대한 그래프 기반 유사도 검색. SVS-FP16(AMD EPYC 9575F), 인텔 최적화가 적용된 SVS-VectorCompression (인텔), 라이브러리: robin-map/fmtlib/eve/tomlplusplus/pybind11/MKL/spdlog/catch2/GSL narrow. SVS Inverted Index Construction: 벡터 검색용 IVF 기반 인덱스 생성, SVS IVF BF16, AMD용 AMD AOCL 4.2.0, 인텔용 OneMKL, 빌드 시간은 5회 평균, 사용한 센트로이드 수: Wiki-45M 기준 70K. ⁵ intel.com/processorclaims: 인텔® 제온® 6의 [7D220]을 참조하십시오. 결과는 다를 수 있습니다. ### 최대 20% 더 많은 PCIe 레인 으로 I/O 대역폭을 향상시킬 수 있습니다. P-코어 탑재 인텔® 제온® 6 프로세서는 ### 2소켓(2S) 서버 기준 ### 최대 192개의 PCIe 5.0 레인 을 제공할 수 있으며, 이는 최신 AMD EPYC 프로세서의 2S 구성(160개 레인)보다 많은 수치입니다. 인텔® 제온® 6 프로세서는 ### 가동 시간과 운영 효율을 ### 최대화하도록 설계 되어 비즈니스 중단을 최소화합니다. ## Tables **From: Share** | | | | | Accelerating Innovation: 5 Reasons for Choosing Intel® Xeon® 6 Processors as Host CPUs to Drive AI Success Design an advanced AI-accelerated system capable of running demanding AI workloads by making use of Intel Xeon 6 processors as the host CPU of choice. | | | | | --- | --- | --- | --- | --- | --- | --- | --- | | | | | | Why choose Intel Xeon 6 processors as host CPUs? Intel Xeon processors are the host CPUs of choice for the world’s most powerful AI accelerator platforms, being the most benchmarked host processors for these systems.1 The performance and utilization of AI systems rely on the CPU host to coordinate computation, manage input/output (I/O) traffic, and keep throughput running efficiently. Choosing the right CPU for your AI system can help alleviate bottlenecks and increase work time for training and inference workloads. The NVIDIA DGX Rubin NVL8 platform leverages Intel Xeon 6 processors with Intel® Priority Core Turbo (Intel® PCT) as the host CPU. Here are five reasons why Intel Xeon 6 processors are the best choice for host | | | | | | | | | CPUs in AI-accelerated systems. | | | | | | | | | 1 Higher memory capacity and bandwidth Training large generative AI (GenAI) models requires large memory capacity to store model parameters 2DPC on Intel Xeon 6 and weights before the models are sent to the GPU. processors delivers As a general guideline, these accelerated AI systems up to 18% should support 2x the CPU memory capacity relative higher memory speeds to GPU memory per system, meaning that eight 288 GB GPUs would require 4.6 TB CPU memory compared to the latest capacity per system (8 x 288 GB). The Intel Xeon AMD EPYC processor.2 6776P processor with 128 GB DIMMs in a 2 DIMMs per channel (2DPC) configuration can support CPU memory capacities beyond 4.6 TB, up to 8 TB per MRDIMMs deliver system. The 2DPC configuration provides the system up to 2.3x memory capacity needed to train large models, and it delivers the best memory performance and total cost higher memory bandwidth of ownership (TCO).² compared to 5th Gen Intel Xeon processors.3 In addition, Intel Xeon 6 processors with Performance-cores (P-cores) use Multiplexed Rank DIMMs (MRDIMMs) to deliver higher memory bandwidth. This innovative memory technology boosts bandwidth and performance while reducing latency for memory-bound AI and high-performance computing (HPC) workloads. High system memory bandwidth is important for large-scale inference on GPUs, especially with key-value (KV) cache sizes increasing due to larger context sizes during inference. Higher memory bandwidth is also important to support the emergence of new agentic AI inference applications, where the host CPU serves as the orchestrator of tasks. | | | | | | | | | 2 Improved single-thread performance Accelerated AI systems require a minimum ratio of Up to 8–12 CPU cores to 1 GPU, and Intel Xeon 6 processors deliver 2x more cores per socket than the previous 128 P-cores per CPU generation. The processors’ single-threaded core delivers 2x more cores per socket performance drives faster data transfers to GPU than the previous generation. accelerators, increasing the time available for GPU processing and shortening model time to train, which also aids in data preprocessing—a critical function of The 64-core Intel Xeon 6776P the host CPU. processor with Intel PCT cores and 4.6 GHz frequency delivers Intel Xeon 6 processors with P-cores feature select up to a 17% frequency gain SKUs with Intel PCT technology, allowing eight priority cores to operate dynamically at a higher compared to the frequency. This enables faster data transfer of model Intel Xeon 6767P processor.4 parameters and weights to/from memory and the orchestration of tasks originating on the GPU or accelerator-based system. The remaining cores operate at a base frequency, ensuring optimal distribution of CPU resources. Intel PCT technology allows GPUs to operate at peak efficiency levels, increasing utilization for the system—a capability critical for workloads that demand sequential or serial processing—with the right volume of high-frequency cores per GPU. The right number of cores running at high frequency enables optimal TDP power. | | | | | | | | | 3 Superior I/O support with the latest-generation PCIe PCIe high performance and lane numbers determine the I/O performance of an AI system, Boost I/O bandwidth with up to which needs to be designed for maximum PCIe lane 20 percent more PCIe lanes availability. Intel Xeon processors provide a range of than the previous generation. 32 GB/s PCIe Gen 5 lanes for accelerator, networking, and storage workloads—from 192 lanes in a dual-socket configuration for the Intel Xeon Intel Xeon 6 processors 6900P processor to 136 lanes in an Intel Xeon with P-cores can deliver 6700P one-socket configuration. up to 192 PCIe 5.0 lanes per 2S server, Higher I/O bandwidth accelerates data offloads and elevates operational efficiency. A higher PCIe compared to only 160 lanes in a lane count helps accommodate high-throughput 2S configuration with the latest GPUs, network interface controllers (NICs), and AMD EPYC processor. storage devices. | | | | | | | | | Speed vector database processing with Intel® AMX instructions Loading data to AI accelerators can bottleneck Intel Xeon 6 processors with GPU utilization, as the GPUs sit idle until the data is loaded. Utilizing a vector database can improve the P-cores and Intel® Scalable Vector data-loading speed and increase overall GPU Search (Intel® SVS) optimizations efficiency. Intel Xeon 6 processors feature enabled can Intel® Advanced Matrix Extensions (Intel AMX), improve vector indexing an instruction set that improves vector processing. and search by up to 2.75x compared to With moderate AI compute capabilities through AMD EPYC 9575F processors.5 Intel AMX, Intel Xeon 6 processors are designed to support a wide variety of tasks as host CPUs, delivering system performance and efficiency. Intel AMX includes newly added support for FP16 precision arithmetic to support data preprocessing and other host CPU responsibilities in AI-accelerated systems. | | | | | | | | | 5 Dedicated RAS support and confidential AI Uptime is the key to system optimization. Intel’s industry-leading reliability, availability, and Reduce business disruptions, serviceability (RAS) support has monitoring and improve uptime, and deliver control capabilities to keep systems running with end-to-end AI confidentiality optimal performance and to reduce costly with Intel Xeon 6 processors. downtime for accelerated AI systems. Advanced management capabilities include telemetry, platform monitoring, control over shared resources, and real-time firmware updates. | | | | | | | | | Intel and NVIDIA are actively collaborating on AI data security. Intel Xeon CPUs and NVIDIA GPUs | | | | | | | | | can operate their own Trusted Execution Environments (TEEs) for confidential computing. An encrypted bounce buffer and Intel® Trust Domain Extensions (Intel® TDX) Connect provide hardware-protected connectivity between the TEEs on both the CPU and GPU, enabling end-to-end AI confidentiality. This provides a variety of benefits for AI applications, like helping prevent unauthorized data exposure, helping protect inference or training data from exposure, and strengthening cybersecurity against known or new threats. | | | | | | | | | Learn about additional benefits that Intel Xeon 6 processors can deliver | | | | | | | | | as the host CPU of choice for AI-accelerated systems: | | | | | | | | | intel.com/content/www/us/en/products/details/processors/xeon.html | | | | | | | | | See how Intel Xeon 6 processors enhance AI/HPC workloads. Examine the latest workload performance metrics: https://edc.intel.com/content/www/us/en/products/performance/benchmarks/intel-xeon-6/ Review product specifications and find the best processor for your unique computing needs: https://ark.intel.com/content/www/us/en/ark/products/series/595/intel-xeon-processors.html | | | | | | | | | Endnotes ¹ Based on MLPerf benchmark testing as of 2024. For details, visit https://mlcommons.org/. 2 8-channel 2DPC for a 2S system on an Intel Xeon 6700P processor. 16 DIMMs per socket totaling 32 DIMMs. Comparing 5,200 megatransfers per second (MT/s) RDIMM speed vs. 4,400 MT/s RDIMM speed on a 5th Gen AMD EPYC processor. 3 Based on Intel analysis as of May 2024. Baseline: 1-node, 2 x Intel Xeon Platinum 8592+ processors, 64 cores, Intel® Hyper-Threading Technology (Intel® HT Technology) on, Intel® Turbo Boost Technology on, NUMA configuration SNC2, 1,024 GB total memory (16 x 64 GB DDR5 5,600 MT/), BIOS version 3B07.TEL2P1, microcode 0x21000200, Ubuntu 24.04, Linux version 6.8.0-31-generic, tested by Intel as of May 2024. New: 1-node, pre-production platform, 2 x Intel Xeon 6 processors with P-cores, Intel HT Technology on, Intel Turbo Boost Technology on, NUMA configuration SNC3, 3,072 GB total memory (24 x 128 GB MCR 8,800 MT/s), BIOS version BHSDCRB1.IPC.0031.D97.2404192148, microcode 0x81000200, Ubuntu 23.10, kernel version 6.5.0-28-generic. Software: NEMO v4.2.2. ORCA025 dataset from CMCC. Intel® Fortran Compiler Classic and Intel® MPI from 2024.1; Intel® oneAPI HPC Toolkit. Compiler flags “-i4 -r8 -O3 -xCORE-AVX2 -fno-alias -fp-model fast=2 -align array64byte -fimf-use-svml=true.” 4 Tested by Intel analysis as of April 2025. Baseline: 1-node, 2 x Intel Xeon 6767P, 64 cores, 350 W TDP, Intel HT Technology on, Intel Turbo Boost Technology on, 1,024 GB total memory (16 x 64 GB DDR5, 8,800 MT/s [8,000 MT/s]), BIOS F17, microcode 0x1000380, 2 x Intel® Ethernet Controller X710 for 10GBASE-T, 2 x Intel® Ethernet Controller E810-C for QSFP, 1 x 3.5 TB Intel SSDPF2KX038TZ, 2 x NVIDIA H100 NVL PCIe GPU, Ubuntu 24.04.2 LTS, 6.8.0-54-generic. Tested by Intel as of April 2025. New: 1-node, 2 x Intel Xeon 6776P (pre-production), 64 cores, 350 W TDP, Intel HT Technology on, Intel Turbo Boost Technology on, 1,024 GB total memory (16 x 64 GB DDR5, 8,800 MT/s [8,000 MT/s]), BIOS F17, microcode 0x1000380, 2 x Intel Ethernet Controller X710 for 10GBASE-T, 2 x Intel Ethernet Controller E810-C for QSFP, 1 x 3.5 TB Intel SSDPF2KX038TZ, 2 x NVIDIA H100 NVL PCIe GPU, Ubuntu 24.04.2 LTS, 6.8.0-54-generic. Tested | | | | | | | | | by Intel as of April 2025. Software: CUDA runtime version: 12080. CUDA driver version: 12080. NVIDIA driver: 570.133.20. PyPerformance: Python benchmark suite 1.11.0, https://github.com/python/pyperformance. NVbandwidth: nvbandwidth version 0.7, https://github.com/NVIDIA/nvbandwidth. TensorRT-LLM: TensorRT-LLM version 0.17.0, https://github.com/NVIDIA/TensorRT-LLM/, container: tensorrt_llm/release: 0a8915a87949, Python v3.12. BioGPT: BioGPT ver | | | | | | | | | e836018, Python v3.12. SVS Similarity Search: Graph-based similarity search on DataSets Wiki45M (45 million vectors, 1,536 dimensionality) SVS-FP16 (AMD EPYC 9575F) SVS-VectorCompression with Intel optimizations (Intel), Library: robin-map/fmtlib/eve/tomlplusplus/pybind11/MKL/spdlog/catch2/GSL narrow. | | | | ## References - [Source page](https://www.intel.com/content/www/us/en/content-details/842667/intel-xeon-6-as-ai-host-cpu-infographic.html) - [Share](https://cdrdv2.intel.com/v1/dl/getContent/842667?fileName=Xeon6_forHostCPU_Infographic_Final-Q2-26.pdf) - [Download](https://cdrdv2.intel.com/v1/dl/getContent/842667?fileName=Intel+Xeon+6+as+AI+Host+CPU+Infographic_TW.pdf) - [Download](https://cdrdv2.intel.com/v1/dl/getContent/842667?fileName=xeon-6-processors-with-p-cores-ig-french.pdf) - [Download](https://cdrdv2.intel.com/v1/dl/getContent/842667?fileName=xeon-6-processors-with-p-cores-ig-german.pdf) - [Download](https://cdrdv2.intel.com/v1/dl/getContent/842667?fileName=xeon-6-processors-with-p-cores-ig-jp.pdf) - [Download](https://cdrdv2.intel.com/v1/dl/getContent/842667?fileName=Intel+Xeon+6+as+AI+Host+CPU+Infographic_KR.pdf) - [https://cdrdv2.intel.com/v1/dl/getContent/842667?fileName=Xeon6_forHostCPU_Infographic_Final-Q2-26.pdf&view=true](https://cdrdv2.intel.com/v1/dl/getContent/842667?fileName=Xeon6_forHostCPU_Infographic_Final-Q2-26.pdf&view=true) (not processed: Unexpected error while downloading document)