NVIDIA H100和H800 Tensor Core GPU
为各类数据中心提供出色的性能、可扩展性和安全性。
加速计算的数量级飞跃
通过 NVIDIA H100和H800 Tensor Core GPU,在每个工作负载中实现出色性能、可扩展性和安全性。使用 NVIDIA® NVlink® Switch 系统,可连接多达 256 个 H100 来加速百亿亿级 (Exascale) 工作负载,另外可通过专用的 Transformer 引擎来处理万亿参数语言模型。与上一代产品相比,H100 的综合技术创新可以将大型语言模型的速度提高 30 倍,从而提供业界**的对话式 AI。
NVIDIA英伟达H100人工智能服务器配置参数:
项目 |
标准配置 |
框架 |
8U 机架式服务器 |
处理器 |
2 颗至强 Platinum 8468 48 核/3.8GHz 主频/105MB 缓存 |
内存 |
DDR5 4800MHz ECC 内存容量 512GB |
GPU |
NVIDIA HGX H100 GPU 模组 |
系统硬盘 |
M.2 NVMe PCIe 接口 2TB SSD |
数据硬盘 |
2*10TB 企业级 SATA 硬盘 RAID 10 阵列配置 |
InfiniBand 网络 |
200G/双端口/QSFP56 |
Ethernet 网卡 |
OCP 网卡/双电口/10G |
PICE 插槽 |
9 个 PCIe 5.0 扩展插槽 |
电源 |
6*3000W,2*2700W,AC220 输入 |
风扇 |
10 个 54V 风扇组 |
操作系统 |
Windows Server/RedHat Enterprise Linux/SUSE Linux Enterprise Server/CentOS/Ubuntu/Vmware EXSi |
工作温度 |
+5°~+35° |
其他接口 |
机箱后部:1 个 RJ45 管理接口,2 个 USB 3.0,1 个 VGA 机箱前部:2 个 USB 3.0,1 个 VGA |
整机净重 |
120KG(以实际配置为准) |
NVIDIA英伟达H800人工智能服务器配置:
项目 |
标准配置 |
框架 |
8U 机架式服务器 |
处理器 |
2颗第4代/第5代至强系列* 64 核/3.9GHz/320MB缓存 |
内存 |
*容量 4TB |
GPU |
NVIDIA HGX H800 GPU模组 |
系统硬盘 |
M.2 NVMe PCIe接口 2TB SSD |
数据硬盘 |
2*10TB 企业级 SATA 硬盘 RAID 10 阵列配置 |
InfiniBand 网络 |
ConnectX-7 400Gb/s |
Ethernet 网卡 |
OCP 网卡/双电口/10G |
PICE 插槽 |
9 个 PCIe 5.0 扩展插槽 |
电源 |
6*3000W,2*2700W,AC220 输入 |
风扇 |
10 个 54V 风扇模组 |
操作系统 |
Windows Server/RedHat Enterprise Linux/SUSE Linux Enterprise Server/CentOS/Ubuntu/Vmware EXSi |
工作温度 |
+5°~+35° |
其他接口 |
机箱后部:1 个 RJ45 管理接口,2 个 USB 3.0,1 个 VGA 机箱前部:2 个 USB 3.0,1 个 VGA |
整机净重 |
120KG(以实际配置为准) |
NVIDIA H100 TENSOR CORE GPU 规格 (SXM4 和 PCIE 外形规格)
外形规格 |
H100 SXM4 |
H100 PCIE |
FP64 |
34 teraFLOPS |
26 teraFLOPS |
FP64 Tensor Core |
67 teraFLOPS |
51 teraFLOPS |
FP32 |
67 teraFLOPS |
51 teraFLOPS |
TF32 Tensor Core |
989 teraFLOPS* |
756teraFLOPS* |
BFLOAT16 Tensor Core |
1979 teraFLOPS* |
1,513 teraFLOPS* |
FP16 Tensor Core |
1979 teraFLOPS* |
1,513 teraFLOPS* |
FP8 Tensor Core |
3958 teraFLOPS* |
3026 teraFLOPS* |
INT8 Tensor Core |
3958 TOPS* |
3026 TOPS* |
GPU 显存 |
80GB |
80GB |
GPU 显存带宽 |
3.35TB/s |
2TB/s |
解码器 |
7 NVDEC/7 JPEG |
7 NVDEC/7 JPEG |
*热设计功率 (TDP) |
高达 700 瓦(可配置) |
300-350 瓦(可配置) |
多实例 GPU |
*多 7 个 MIG @每个 10GB |
|
外形规格 |
SXM |
PCIe双插槽风冷式 |
NVIDIA H800 TENSOR CORE GPU 规格 (SXM4 和 PCIE 外形规格)