2026 年 7 月 1 日，Cloudflare 宣布自 9 月 15 日起调整默认设置，阻止“混合用途”爬虫访问投放广告的网站，除非站长手动修改。这些爬虫同时服务搜索、AI 代理和模型训练，将被默认屏蔽。该政策适用于新客户、新站点及所有免费用户。
此举正值互联网非人类流量首次超过人类流量之际。Cloudflare 联合创始人兼 CEO Matthew Prince 表示：“现在必须更快行动，建立可持续生态。”公司同时推出“Pay Per Use”工具，让出版商不仅能在内容被抓取时收费，还能在内容实际产生价值时获得报酬。目前已与 Ceramic.ai 和 You.com 合作试点。
Google 等搜索巨头因同时提供搜索与 AI 训练服务，面临更大压力。Cloudflare 指出，Google 能获取约两倍于其他 AI 公司的信息，而站长难以在保持可发现性的同时阻止内容被用于训练。Google 曾提供 Google Extended 爬虫供站长选择退出训练用途，但其主力 Googlebot 仍服务于包括 AI Overviews 在内的搜索功能。
这一政策将迫使 AI 模型提供商更清晰地区分爬虫用途，并可能加速付费数据市场的形成。未来 6-12 个月，更多基础设施提供商或跟进类似措施，AI 训练数据的获取成本或将系统性上升。
信源：https://techcrunch.com/2026/07/01/cloudflares-new-policy-pushes-ai-companies-to-pay-for-publishers-content/