最近几个月来以ChatGPT为代表的AI大火,也导致了训练AI用的NVIDIA加速显卡备受追捧,黄仁勋也多次推荐大家购买A100显卡,不过这并不是NVIDIA最新最强的AI卡,去年发布的H100才是性能猛兽。
至于黄仁勋为何不重点推H100加速卡,主要是这款显卡之前产量不多,但在日前的GTC 2023大会上,黄仁勋宣布H100已经全面投产,并部署在多家客户的云计算服务中,包括微软的Azure、谷歌、甲骨文等客户数据中心。
H100加速卡与2022年3月份的GTC大会上发布,采用Hopper架构,GH100大核心,台积电4nm制造工艺、CoWoS 2.5D封装技术,集成800亿个晶体管,核心面积814平方毫米。
它拥有18432个CUDA核心、576个Tensor核心、60MB二级缓存,支持6144-bit位宽的六颗HBM3/HBM2e,支持PCIe 5.0,支持第四代NVLink总线。
H100计算卡有SXM、PCIe 5.0两种样式,其中SXM版本15872个CUDA核心、528个Tensor核心,PCIe 5.0版本14952个CUDA核心、456个Tensor核心,功耗最高达700W。
性能方面,FP64/FP32 60TFlops(每秒60万亿次),FP16 2000TFlops(每秒2000万亿次),TF32 1000TFlops(每秒1000万亿次),都三倍于A100,FP8 4000TFlops(每秒4000万亿次),六倍于A100。
售价方面,H100的官方建议价一直没公布,但日本市场之前预售的价格是475万日元,约合人民币24.2万元,比A100的价格至少翻倍了。
ChatGPT源码推荐:小狐狸ChatGPT付费创作系统完全开源源码