觀點網訊:11月5日,阿里雲靈駿真武M890超節點已完成月之暗面Kimi K3.1 Pro模型權重的Day0適配,並在vLLM與SGLang兩大主流開源推理框架上完成全鏈路驗證。
Kimi K3.1 Pro總參數為2.8萬億,支持100萬Token上下文。該模型延續超大規模稀疏混合專家(MoE)架構,採用KDA線性注意力與DSA稀疏注意力相結合的混合注意力設計,支持多Token預測(MTP)。目前,Kimi K3.1 Pro也在千問AI平臺部署上線,對外提供API服務。
針對萬億參數大模型“高吞吐、低延遲、高併發”的需求,阿里雲、平頭哥與Kimi團隊依託T-Head SAIL軟件棧完成聯合適配,並針對FlashMLA算子、DeepGEMM MOE算子、MegaMoE以及MoonEP的適配與調優做了重點優化,用戶可基於裸金屬或REIN智能引擎服務完成推理服務在超節點資源上的部署。
阿里雲中衛超節點地域開啓邀測。阿里雲中衛超節點新增了平頭哥磐脈920智能網卡,該卡採用PCIe 5.0與112G PAM4以太網技術,最高支持400Gbps吞吐帶寬、400Mpps收發包率,支持多路徑RDMA與用戶可編程擁塞控制;內置PCIe Switch芯片級網絡架構,以極低時延直連GPU與SSD,減少對外部交換芯片的依賴,可節省系統成本30%。
目前,阿里雲在烏蘭察布和中衛數據中心均提供DAY0適配各種主流大模型的超節點實例。靈駿真武M890超節點實例已經服務上百家頭部客戶。即將推出的下一代真武V900超節點實例,性能將較當前一代提升3倍。
