Cloudflare新政策要求AI公司为出版商内容付费

Cloudflare于2026年7月1日宣布一项新政策，要求AI公司在9月15日前将用于传统搜索（如谷歌搜索）的网络爬虫与用于AI训练及智能体的爬虫分离，否则默认将在许多发布商网站上被屏蔽。自9月15日起，Cloudflare的默认设置将阻止“混合用途”爬虫访问任何包含广告的页面。这意味着，除非网站所有者调整设置，否则同时用于搜索、智能体使用和训练的爬虫将被默认阻止爬取这些网站。该默认设置变更将适用于新的Cloudflare客户、现有客户新设置的网站以及所有现有免费客户。Cloudflare指出，大多数网站所有者希望其内容可通过搜索和AI服务被发现，但希望防止知识产权被免费使用。该公司特别提到“全球最大搜索引擎”（明显指谷歌）比其他AI公司能访问约“两倍多的信息”，因为谷歌使得客户难以在不被用于AI的情况下保持可发现性。谷歌曾对此类说法进行反驳，称其提供名为Google Extended的机器人，允许网站所有者选择退出其内容用于训练及Gemini Apps、Vertex API等AI产品和服务，且不影响网站在谷歌搜索中的收录，但其旗舰Googlebot爬虫用于搜索，包括AI概览和AI模式等AI功能。Cloudflare联合创始人兼CEO Matthew Prince表示，鉴于互联网上非人类流量已首次超过人类流量（这一转变原预计明年发生），必须进一步并更快行动以建立可持续生态系统。Cloudflare的新工具和合作伙伴关系为网站所有者提供了更多可见性和商业机会，并使意图明确透明的AI公司受益，希望默认设置变更能鼓励混合用途爬虫将搜索与智能体使用及训练分离。尽管Cloudflare提供多种帮助用户启动自己AI系统的产品，但近年来也发布了一系列工具，如打击AI机器人的工具及名为Pay Per Crawl的市场，允许网站向AI机器人收取抓取费用，该市场现正演变为“Pay Per Use”，允许发布商在其内容创造价值时（而非仅在被获取时）向AI公司收费。此变更还有助于为AI模型提供商节省发布商的带宽和计算资源，Cloudflare数据显示超过50%的AI爬虫抓取流量用于重新获取未更改的页面。目前，Cloudflare正与Ceramic.ai和You.com合作，当发布商选择加入时，其内容出现在Ceramic的AI搜索结果中或You.com访问其优质内容时，发布商将获得报酬，其他AI公司可定制此合作模式。