NVIDIA发布NeMo AutoModel开源库，基于Hugging Face Transformers v5构建，集成专家并行、DeepEP融合通信和TransformerEngine内核。用户仅需更改一行import，即可通过from_pretrained API对MoE模型实现3.4-3.7倍训练吞吐提升，同时显存减少29-32%，兼容原有HF检查点和生态工具。该方案已在Nemotron和Qwen3等模型上验证性能。
信源:https://huggingface.co/blog/nvidia/accelerating-fine-tuning-nvidia-nemo-automodel