Patreon转变策略：从请求AI爬虫停止抓取到主动阻止

创作者会员平台Patreon正在加强对AI抓取其内容用于训练的防御措施。该公司周四宣布，正与互联网基础设施提供商Cloudflare合作，直接阻止未经许可旨在训练AI模型的AI机器人访问其内容。Patreon表示，自2023年首次采取措施阻止AI爬虫以来，AI抓取技术已变得更加复杂，因此需要加强措施。此外，尽管Patreon的付费墙长期以来阻止了大部分创作者内容被爬虫获取，但最近推出的新发现工具（如重新设计的Home Feed和类似推文的Quips）可能会使更多内容暴露给爬虫。随着越来越多的在线出版商和内容创作者开始关注AI如何摄取其作品以提升AI模型智能，Patreon此举应运而生。Cloudflare目前提供限制AI机器人的工具，包括一个名为Pay Per Crawl的市场，允许网站向AI机器人收取抓取费用，并且本月初修改了政策，默认在任何有广告的页面上阻止“混合用途”爬虫（即同时索引和训练网站内容的爬虫）。Patreon称，其扩展了与Cloudflare的现有合作，使用该公司的AI Crawl Control技术来更新其AI政策和执行工具。此次变化的不同之处在于，Patreon不再仅仅通过robots.txt文件要求AI爬虫不要抓取内容，而是开始主动阻止AI训练机器人。Patreon在一篇博客文章中解释道：“同意不应取决于抓取者是否选择遵守规则。”测试这些功能时，个别AI训练爬虫每周访问Patreon的尝试从“数千次降至零”，这表明AI爬虫此前无视Patreon的robots.txt文件，仍然对网站进行抓取。不过，该公司表示将允许用于索引页面和组织信息以引导用户返回Patreon的机器人。Patreon产品负责人Drew Rowny在声明中表示：“随着AI代理变得越来越强大和流行，创作者应该对其作品如何被AI公司使用拥有有意义的发言权。在互联网的大部分地方，创作者为了接触和扩大受众，不得不接受其作品被用于AI训练。Patreon有不同的愿景：创作者应该能够扩大受众并控制其作品的使用方式。”