微软推出MAI-Base-2 MoE基础模型

微软AI已完成MAI-Base-2预训练并对外发布。该模型为混合专家架构,总参数2.8万亿,激活参数800亿。
它在全部持出评估中超越已测试的开放权重模型,预训练FLOPs效率比DeepSeek-V4-Pro-Base高4-12倍。微软将节省的算力用于训练更大规模模型。
此前6月发布的MAI-Thinking-1即基于MAI-Base-1后训练得到。

信源:https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/

📤 分享这篇文章

𝕏 X 分享in LinkedIn

点击”分享微信好友”→ 长按图片发到微信

Leave a Reply

Your email address will not be published. Required fields are marked *