快科技报道:Cerebras Systems发布了名为"WSE-3"的第三代晶圆级AI加速芯片。这款芯片性能大幅提升,功耗和价格却保持不变。
第一代WSE-1于2019年推出,采用台积电16nm工艺,晶体管数量达1.2万亿个。第二代WSE-2于2021年推出,采用7nm工艺,晶体管数量增加至2.6万亿个。
如今,第三代WSE-3采用了台积电5nm工艺。虽然面积与前代相似,但晶体管数量飙升至4万亿个。AI核心数量也增加至90万个,缓存容量为44GB。
值得注意的是,WSE-3的峰值AI算力高达125PFlops,相当于每秒12.5亿亿次浮点计算。这与顶级超算的性能相当。
WSE-3能够训练GPT-4和Gemini等下一代AI大模型,其单一逻辑内存空间可存储24万亿个参数,无需分区或重构。
此外,WSE-3还可以通过四颗并联,在一天内完成700亿参数的调教。它支持最多2048路互连,一天内就能完成Llama 700亿参数的训练。
WSE-3的具体功耗和价格尚未公布,但预计与前代类似,在200多万美元左右。