据报道，AI爬虫正在消耗网站资源并扭曲分析

快速阅读: 据《搜索引擎日志》最新报道，AI网络爬虫活动激增影响网站性能，耗用大量带宽。专家建议通过检查流量模式、调整robots.txt等方法应对，以平衡可见性与资源管理。

整个网络的网站运营商报告称，来自人工智能网络爬虫的活动有所增加。这一激增引发了对网站性能、分析数据和服务器资源的担忧。这些机器人消耗大量带宽以收集数据用于大型语言模型，这可能会影响与搜索排名相关的性能指标数据。

**人工智能爬虫如何影响网站性能**

SEO专业人士通常会针对传统搜索引擎爬虫进行优化工作，但来自OpenAI、Anthropic和亚马逊等公司的AI爬虫日益增多，带来了新的技术考量。

人工智能爬虫如何影响网站性能？多位网站运营商报告称，其性能问题和服务器负载增加直接归因于AI爬虫的活动。“SourceHut继续受到积极LLM爬虫的干扰，”git托管服务在其状态页面上表示。作为回应，SourceHut已“单方面封锁了包括GCP（谷歌云）和（微软）Azure在内的多个云服务提供商，原因是他们网络上产生的高流量机器人。”

云托管服务Vercel的数据展示了这种流量的规模：OpenAI的GPTBot在一个月内发起了5.69亿次请求，而Anthropic的Claude发起了3.7亿次。在同一时期，这些AI爬虫占谷歌搜索爬虫总量的大约20%。

**对分析数据的潜在影响**

大量的机器人流量可能会影响分析数据。根据广告数据分析公司DoubleVerify，“一般无效流量——即GIVT（不应计入广告浏览量的机器人），由于AI爬虫，在2024年下半年增长了86%。”该公司指出，“2024年，由与AI抓取器相关的机器人产生的16%的GIVT（已知机器人印象）来自与AI抓取器（如GPTBot、ClaudeBot和AppleBot）关联的机器人。”

Read the Docs项目发现，阻止AI爬虫可以将流量减少75%，从每天800GB降至200GB，每月节省约1500美元的带宽成本。

**识别AI爬虫模式**

理解AI爬虫的行为有助于流量分析。识别AI爬虫模式的特征在于它们访问的频率和深度。虽然搜索引擎爬虫通常遵循可预测的模式，但AI爬虫表现出更激进的行为。

Diaspora社交网络基础设施维护者Dennis Schubert观察到，AI爬虫“不会仅仅爬取一次页面就离开。哦，不，他们会每隔6小时回来一次，因为为什么不去呢。”这种重复爬取会成倍增加资源消耗，因为相同的页面被反复访问，却没有明确的理由。

除了频率之外，AI爬虫更为彻底，探索的内容比普通访客更加广泛。SourceHut创始人Drew DeVault指出，爬虫访问“每个git日志中的每一页以及存储库中的每个提交”，这对内容密集型网站来说尤其资源密集。

尽管高流量令人担忧，但识别和管理这些爬虫带来了额外的挑战。随着爬虫技术的发展，传统的阻断方法证明越来越无效。软件开发者Xe Iaso指出，“试图阻止AI爬虫机器人是徒劳的，因为他们撒谎、更改用户代理、使用住宅IP地址作为代理等等。”

**在可见性和资源管理之间取得平衡**

网站所有者和SEO专业人士面临一个实际考虑：在保持合法搜索引擎可见性的同时管理资源密集型爬虫。要确定AI爬虫是否显著影响您的站点：

– 检查服务器日志中是否存在异常的流量模式，特别是来自云供应商IP范围的流量
– 寻找与用户活动无关的带宽使用高峰
– 检查对资源密集型页面（如存档或API端点）的高流量情况
– 监控核心网络生命指标中的异常模式

对于受过多AI爬虫流量影响的人，有几种选择。谷歌在robots.txt文件中引入了一种名为Google-Extended的解决方案。这允许网站停止让他们的内容被用于训练谷歌的Gemini和Vertex AI服务，同时仍允许这些网站出现在搜索结果中。

Cloudflare最近宣布了“AI迷宫”，解释道：“当我们检测到未经授权的爬虫时，而不是阻断请求，我们会链接一系列足以吸引爬虫穿越的AI生成页面。”

**展望未来**