国内首个!阿里云真武超节点Day0适配Kimi K3:单卡吞吐提升1.8倍
7月28日,阿里云宣布真武M890超节点实例已当日成功适配Kimi K3,成为国内首个跑通近3万亿参数模型的超节点。该超节点核心芯片真武M890采用自研并行计算架构,内置144GB显存,搭配自研互联芯片的磐久AL128超节点服务器,单机柜128卡紧密耦合互联,P2P时延低于150纳秒。经多方从软件栈、算子等层面深度联合适配后,实测模型首Token时延降低约35%,单卡解码吞吐提升1.8倍,可稳定支持百万级长上下文场景。后续千问AI平台和阿里云百炼也将同步提供Kimi K3的模型API服务,该落地验证国产算力已具备支撑超大参数模型大规模应用的能力。
阿里云真武超节点Day0适配Kimi 路过 :):):):):):):):):):):):) :Q:Q:Q:Q:Q:Q:Q:Q:Q:Q:Q 现在性能越来越强了 看不懂,但大为震撼 谢谢分享 阿里云真武超节点,吞吐提升1.8倍
页:
[1]
2
