7 月初报道显示，OpenAI 工程师已在 6 月初内部验证一项纯软件优化，将现有模型推理成本降低超过 50%。应用于未登录访客的 ChatGPT 流量时，所需 Nvidia GPU 数量一度降至仅数百张，这一成果未依赖新硬件或架构重构。[[1]](https://www.techtimes.com/articles/319638/20260703/openai-halves-inference-costs-software-alone-gpus-drop-hundreds.htm)
这一进展正值 AI 资本开支持续高企、token 价格承压的背景下。Alphabet 此前完成 847.5 亿美元股权融资押注算力基建，AWS 也上调 GPU 算力价格 20%，而 OpenAI 与 Anthropic 已出现酝酿价格战的信号。相比硬件军备赛的线性投入，软件层面的边际改进能更快传导至盈利模型，降低对外部融资和政府审查的依赖。
与 Meta 计划出售多余算力、Anthropic 探索三星自研芯片的路径对比，OpenAI 的优化更侧重现有基础设施的极致利用。若该技术可规模化复制，将加速整个行业从“堆算力”向“提效率”的切换，缩小领先实验室与追赶者的成本差距，同时压缩依赖高价 token 的初创空间。
未来 6-12 个月，关键悬念在于这项优化是否外溢至 Anthropic、Google 等竞品，以及是否引发新一轮 token 降价竞赛。效率突破若成为常态，AI 部署将更快从演示走向大规模商业化，但也可能加剧对软件人才与内部工程能力的争夺。
信源：https://www.theinformation.com/newsletters/ai-agenda/openai-discovers-new-way-cut-inference-costs-half
https://www.techtimes.com/articles/319638/20260703/openai-halves-inference-costs-software-alone-gpus-drop-hundreds.htm
https://gigazine.net/gsc_news/en/20260701-openai-discovers-cut-inference-costs-half/