Perplexity涉嫌秘密抓取禁用网站内容

快速阅读: 互联网基础设施提供商 Cloudflare 指控人工智能公司 Perplexity 忽视网站阻止指令，通过更改用户代理和网络标识绕过限制，Cloudflare 移除其验证并推出市场允许网站向 AI 爬虫收费。

互联网基础设施提供商 Cloudflare 发布最新研究报告，指控人工智能初创公司 Perplexity 在抓取网站内容时忽视了明确的阻止指令。Cloudflare 观察到 Perplexity 尝试抓取网页时隐藏自己的身份，以此规避网站的偏好设置。

Perplexity 等人工智能产品通常依赖从互联网收集大量数据，这些初创公司长期以来在未获许可的情况下抓取文本、图像和视频，以支持其产品的正常运作。近年来，许多网站通过使用标准的 Robots.txt 文件来应对这一问题，该文件指示搜索引擎和 AI 公司哪些页面可以被索引，哪些页面不可以。然而，当前这些努力的成效并不显著。

根据 Cloudflare 的分析，Perplexity 似乎通过更改其机器人的“用户代理”来绕过这些限制。“用户代理”是指用于识别网站访问者的设备和版本类型的信号。Cloudflare 还提到，Perplexity 更改了其自治系统网络（ASN），这是一个识别互联网上大型网络的数字标识。Cloudflare 在数万个域名和数百万个请求中观察到了这一行为，凭借机器学习和网络信号的结合成功识别了这一爬虫。

Perplexity 的发言人 Jesse Dwyer 对 Cloudflare 的指控表示反驳，称其博客文章为“推销”。他补充说，文中截图显示没有访问内容。他还声称，Cloudflare 所提到的爬虫并非其所拥有。Cloudflare 表示，他们最初注意到这些问题是因为客户投诉 Perplexity 仍在抓取其网站内容，尽管这些网站已通过 Robots 文件阻止了该爬虫的访问。

Cloudflare 的分析表明，Perplexity 不仅使用了其声明的用户代理，还在其被阻止时利用一个模拟 Google Chrome 的通用浏览器。最终，Cloudflare 决定将 Perplexity 的爬虫从其验证列表中移除，并采取新的技术来阻止其活动。

值得注意的是，Cloudflare 最近对人工智能爬虫表示反对，并推出了一个市场，允许网站所有者向访问其网站的 AI 爬虫收费。Cloudflare 的首席执行官马修·普林斯曾警告称，人工智能正在破坏互联网的商业模式，尤其是出版商的盈利模式。这并非 Perplexity 第一次面临未经授权抓取的指控，早在去年，《连线》杂志等媒体就曾指控 Perplexity 抄袭其内容。

划重点:

– Cloudflare 指控 Perplexity 在抓取内容时忽视网站的阻止指令。

– Perplexity 通过更改用户代理和网络标识试图绕过网站保护措施。

– Cloudflare 推出市场允许网站向 AI 爬虫收费，以保护网站内容。

(以上内容均由Ai生成)