维基百科正在与贪婪的 AI 机器人爬虫作斗争

快速阅读: 据《小工具》最新报道，维基媒体称，自2024年初以来，其网站带宽使用量激增50%，主要是由AI爬虫抓取内容用于训练AI模型所致。尽管AI爬虫流量带来风险和成本上升，维基媒体仍需确保人类用户的流畅体验。基金会正寻求可持续方式管理AI内容访问。

据维基媒体基金会透露，自2024年1月以来，多媒体内容下载使用的带宽增加了50%。然而，这次带宽激增并非源于人类读者对阅读维基百科文章、观看视频或从维基共享资源下载文件的兴趣突然暴增。相反，流量的增长主要由人工智能爬虫引发，这些自动程序大量抓取维基媒体公开授权的图片、视频、文章及其他文件，用于训练生成式人工智能模型。

这种突如其来的机器人流量可能会影响用户访问维基媒体页面和资源的速度，尤其是在高关注度事件期间。例如，当吉米·卡特于12月去世时，人们对卡特与罗纳德·里根总统辩论视频的关注度激增，导致部分用户的页面加载速度变慢。尽管维基媒体有能力应对类似事件中由人类读者带来的流量高峰，观看卡特视频的用户本身并不会造成问题，但维基媒体表示，“由爬虫机器人产生的流量前所未有，带来了不断增长的风险和成本。”

基金会还提到，人类读者通常倾向于查询特定且相似的主题。例如，当某一话题流行时，许多人会同时查询相同的内容。维基媒体会在距离用户最近的数据中心对这些内容进行缓存，以加快内容的提供速度。然而，长时间未被访问的文章或内容需要从核心数据中心获取服务，这会消耗更多的资源，因而对维基媒体而言成本更高。由于人工智能爬虫倾向于批量读取页面，它们往往会访问那些必须从核心数据中心获取的冷门页面。

经过进一步分析，维基媒体发现其中65%的资源消耗性流量来自机器人。这已经让其站点可靠性团队频繁受到干扰，他们不得不多次阻止这些爬虫，以免显著减缓实际读者访问页面的速度。正如维基媒体所指出的，“归属对于吸引更多用户参与这一运动至关重要。”作为一个依靠公众捐款维持运营的基金会，它需要吸引更多用户并让他们关注其事业。“我们的内容是免费的，但我们的基础设施并非如此。”

维基媒体正在探索在未来的财政年度内，建立一种可持续的方式来让开发者和再利用者能够访问其内容。这是因为它没有看到人工智能相关流量放缓的迹象。

(以上内容均由Ai生成)