觀點網訊:10月15日,階躍星辰開源新一代大模型Step 5 Preview,摩爾線程同日宣佈旗下MTT S5000智算卡及MUSA軟件棧已完成該模型的首日適配。

Step 5 Preview採用稀疏MoE架構,總參數量600B,每Token激活27B參數,支持100萬Token上下文窗口。

摩爾線程此次適配涉及混合注意力、混合精度推理、投機解碼等環節。