英伟达开源4B循环模型Nemotron-Labs Dory1.0

英伟达于10月16日在Hugging Face发布NVIDIA-Nemotron-Labs-Dory1.0-4B。这是一款40亿参数的循环(latent-recurrent)语言模型:输入层与输出层之间有一个由20层组成的共享循环块,推理时可让同一组层重复运行,官方基准测试了1次、2次和4次循环三档,同一份权重即可在算力与精度之间切换,无需重新训练或换模型。官方建议默认使用2次循环。

模型最长支持256K上下文,以NVIDIA的4位浮点格式NVFP4原生预训练(6T预训练token中前约4.5T用NVFP4,其余用BF16),采用OpenMDW-1.1许可,可商用。官方基准表显示,SWE-bench Verified得分从1次循环的50.3升至2次循环的59.5、4次循环的61.8。除BF16外还提供MXFP8、NVFP4和GGUF(Q5_K_M)版本,目前仅支持英文。

信源:https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16

📤 分享这篇文章

𝕏 X 分享in LinkedIn

点击”分享微信好友”→ 长按图片发到微信

Leave a Reply

Your email address will not be published. Required fields are marked *