AI 机器人如何让网站不堪重负

快速阅读: 据《SC 杂志美国》最新报道，文章讨论了人工智能爬虫对数据的过度索取对数字生态系统的影响，特别是对维基媒体等网站造成的负担。为应对这一问题，多种工具和技术被开发出来，但仍未找到全面解决方案。相关组织承诺减少爬虫流量以缓解压力。

代理型人工智能将使人工智能变得完全自主，并能够在无需人类干预的情况下执行任务、做出决策，甚至完成购买。网络爬虫长期以来被用来从网站或存储库中获取信息，但生成型人工智能现在使得这种活动变得如此频繁和密集，以至于它被比作持续的分布式拒绝服务（DDoS）攻击。这些机器人对数据有着无尽的渴望，这些数据用于训练集或实时回答提示。正是这种不断追求知识的努力，使得它们四处搜寻并反复回到相同的站点，威胁着数字生态系统的健康发展。

负责维基百科和其他网站的维基媒体基金会最近透露，其请求量增加了50%，这主要由这些人工智能机器人驱动，而且这种对数据的需求导致了更高的基础设施和财务成本。该基金会报告称，大型语言模型（LLM）机器人消耗了其最昂贵数据的65%（这些数据来自主数据库而非缓存服务器，因此检索成本更高），并描述了人工智能爬虫带来的威胁是前所未有的，且是一个日益增长的风险和成本。

控制网络爬虫访问的方法有很多，例如只允许特定的人工智能穿越资源。robots.txt文件中的用户代理字符串不仅可以识别爬虫，还可以指定爬虫可以访问的站点区域。目前在robots.txt文件中发现的主要用户代理为GPTBot、CCBot、Google-Extended和anthropic-ai。公司需要确保在这方面保持谨慎。例如，维修网站iFixit最近发现自己在24小时内受到了Anthropic的ClaudeBot超过一百万次的访问，在添加了crawl-delay指令扩展到robots.txt后才得以解决这个问题。幸运的是，它处理的是一个尊重robots.txt的人工智能，因为并非所有LLM都遵守这些指令。一些爬虫不使用头部信息或故意使用看起来像更可信的人工智能平台的标识符。另一些则系统性地更改用户代理或循环使用住宅IP地址。这导致了一场不断升级的斗争，占用大量人力资源，维基媒体基金会表示其工程师不得不逐个案例实施限速或封禁爬虫。

这种激进的爬取行为可能会带来毁灭性的后果，公司无法阻止所获取的内容及其用途。它还对基础设施和运营产生了实际影响，开源社区是最早的受害者之一。更加注重成本敏感性和依赖成员贡献的开源项目，其服务器已被压垮，有些人注意到其流量的97%由爬虫组成。为了对抗这种情况，他们不得不封锁访问，但这会影响其在搜索引擎列表中的可见度，并可能切断项目的命脉——用户群。事实上，Fedora项目的系统管理员最近不得不暂时禁止整个巴西国家的访问，尽管只是短暂时期。

在代理型人工智能（AGI）下，这个问题预计会恶化。这项技术的下一步发展，AGI将使人工智能变得完全自主，并能够执行任务、做出决策，甚至在无需人类干预的情况下完成购买。这将看到人工智能代表我们与其他系统通信，从而实现闪电般的AI间通信，并导致工业规模的网络爬取。

针对人工智能爬虫的担忧，各种工具应运而生以限制访问。这些工具从防御性解决方案（如Kudurru）到旨在让人工智能徒劳无功的进攻性方法（如Nepenthes、AI Labyrinth），再到伪装数据（如Glaze、Nightshade）以及设置计算难题（如Anubis）。这是一个全新的领域，其中一些工具处于测试阶段，有报告显示某些解决方案给合法用户带来不便。目前尚不清楚如何解决这一问题。AI平台提供商是否会因其对训练模型和响应的数据依赖而协助制定解决方案？我们是否会看到集体诉讼因版权侵权而迫使他们的手？机器人管理是否会进入这个领域来应对威胁？或者监管机构是否会寻求解决问题以保护数字经济？只有时间能告诉我们答案，但在那之前，像维基媒体基金会这样的组织已经承诺降低爬虫资源消耗。它提出了计划，在下一财年将其网络上的刮板流量减少五分之一，带宽减少30%，表明这被视为一个必须解决的严重威胁。

撰稿人：
穆罕默德·伊斯梅尔
欧洲、中东和非洲副总裁
Cequence安全

(以上内容均由Ai生成)