11月5日消息，阿里云灵骏真武M890超节点已完成月之暗面Kimi K3.1 Pro模型权重的Day0适配，并在vLLM与SGLang两大主流开源推理框架上完成全链路验证。Kimi K3.1 Pro总参数为2.8万亿，支持100万Token上下文。同时，阿里云中卫超节点地域开启邀测，进一步加速大规模算力供给。
阿里云灵骏真武M890超节点集群
Kimi K3.1 Pro 是月之暗面最新推出的开源大模型，此次发布意味着可在用户本地或云端快速部署。据介绍，其参数规模达2.8万亿级，是当前全球参数规模最大的开源模型之一，支持 100 万 Token 上下文窗口。它延续超大规模稀疏混合专家（MoE）架构，采用 KDA 线性注意力与 DSA 稀疏注意力相结合的混合注意力设计，支持多 Token 预测（MTP），对显存容量与高速 Scale-Up 互联提出了极高要求。目前，Kimi K3.1 Pro也在千问AI平台部署上线，对外提供API服务。
针对K3.1 Pro这样的万亿参数大模型“高吞吐、低延迟、高并发”的需求特点，阿里云、平头哥与Kimi团队依托T-Head SAIL 软件栈完成深度联合适配，并针对 FlashMLA算子、DeepGEMM MOE算子、MegaMoE以及MoonEP的适配与调优等方面做了重点优化，帮助用户能够基于裸金属或者 REIN 智能引擎服务，快速完成推理服务在超节点资源上的部署。
作为国内首个大规模商业化落地的云上超节点形态，阿里云为广大客户提供了快速、稳定承载大规模参数开源旗舰模型的产品能力，并不断创新应对变幻莫测的市场需求。位于宁夏中卫的超节点也同步开启邀测，就在此前高配置的基础上，新增了平头哥磐脉 920智能网卡，该卡采用 PCIe 5.0 与112G PAM4以太网技术，最高支持400Gbps吞吐带宽、400Mpps收发包率，支持多路径 RDMA 与用户可编程拥塞控制；内置 PCIe Switch芯片级网络架构，以极低时延直连 GPU与SSD，减少对外部交换芯片的依赖，可节省系统成本30%。目前，阿里云在乌兰察布和中卫数据中心均提供DAY0适配各种主流大模型的超节点实例。
目前，灵骏真武M890超节点实例已经服务上百家头部客户，覆盖大模型、自动驾驶、具身智能等多个行业。即将推出的下一代真武V900超节点实例，性能将较当前一代提升3倍。依托大规模集群与加速成熟的软硬件生态，阿里云、平头哥将与用户一起持续加速基础大模型与产业发展。
mingzhiLatest posts by mingzhi (see all)
