站长之家(ChinaZ.com)11月21日 消息:微软推出了全新的 ND H100v5虚拟机系列,该系列配备了最新的 NVIDIA H100Tensor Core GPU 和 NVIDIA Quantum-2InfiniBand 网络。
这款虚拟机具有 AI 超级计算 GPU、新一代 CPU、低延迟网络、优化主机到 GPU 的性能以及大规模的内存和内存带宽等特性,能够提供无与伦比的计算能力。
使用新的8位 FP8浮点数据类型进行矩阵乘法操作时,速度提升了六倍,比前一代的 FP16更快。ND H100v5VM 帮助大型语言模型(如 BLOOM175B 端到端模型)实现了最高两倍的推理速度提升,验证了它们进一步优化 AI 应用的潜力。
ND H100v5VM 虚拟机系列具有以下特性:
- AI 超级计算 GPU:配备了八个 NVIDIA H100Tensor Core GPU。比起上一代虚拟机,该系列可让 AI 模型显著提速,为企业提供无与伦比的计算能力。
- 新一代计算机处理单元(CPU):CPU 性能对于 AI 的训练和推理至关重要,微软选择了第四代 Intel Xeon Scalable 处理器,确保虚拟机达到最佳的处理速度。
- 低延迟网络:采用 NVIDIA Quantum-2ConnectX-7InfiniBand,每个 GPU 拥有400Gb/s、每个 VM 拥有3.2Tb/s 的跨节点带宽,确保 GPU 间的无缝性能,堪称全球顶级的超级计算机。
- 优化主机到 GPU 的性能:通过PCIe Gen5提供每个GPU64GB/s的带宽,Azure在CPU和GPU之间具有显著的性能优势。
- 大规模的内存和内存带宽:DDR5内存是该系列虚拟机的核心,提供更高的数据传输速度和效率,使它们成为处理大规模数据集工作负载的理想选择。