快速阅读: 《The Register》消息，不良机器人常伪装成知名爬虫如Googlebot以规避封锁，现有防护措施因易被绕过而效果有限，网站管理因此面临更大挑战。 然而，这些指令通常放置在网站的根目录下，方便网络爬虫读取。不过，由于没有得 […]
