NVIDIA 今日发布博客，阐述其推理软件栈如何与 GPU、CPU、网络及系统协同设计，并依托开源生态，在 AI 工厂生产部署中实现最低 token 成本。该栈整合生产运营、应用加速与基础设施访问三层，使单点优化累积为系统级性能提升，已在 Blackwell 平台上推动 DeepSeek V4 等模型 token 成本显著下降。Baseten、Deep Infra 等多家提供商已验证其实用价值。
此举将持续巩固 NVIDIA 在 AI 推理经济中的主导地位。
信源:https://blogs.nvidia.com/blog/inference-software-lowest-token-cost/