华为云上线「核弹级产品」,或将终结算力焦虑
近日,华为公布了 AI 基础设施架构的新进展,推出 CloudMatrix 384 超节点,并已在芜湖数据中心规模上线。《科创板日报》独家了解到,华为云 CloudMatrix384 超节点今年上半年将有数万规模的上线。华为内部人士称其为核弹级的产品,或将彻底终结算力焦虑。未来,CloudMatrix 超节点可以构建超过万片的大集群来提供算力。
2024 年 3 月,英伟达率先发布了 NVL72 超节点,可以把 72 张训练卡组成一个超节点,为万亿参数的大型语言模型推理提供了 30 倍实时速度提升。而这次发布的华为 CloudMatrix 384 更进一步,以 384 张昇腾算力卡组成一个超节点,在目前已商用的超节点中单体规模最大。
华为公布的数据显示,CloudMatrix 384 实现算力规模达 300PFlops,相比英伟达 NVL72 的 180PFlops 提升 67%。
不过,在单位算力功耗方面,国产芯片仍比英伟达高得多。更高的功耗对于服务器散热要求也更高,机房规模会更大,导致整体成本上升。(来源:财联社)