全球主机交流论坛

标题: Amazonbot蜘蛛不遵循robots协议爬的我服务器死机有办法禁么？ [打印本页]

作者: xyf1234 时间: 2024-5-20 04:05
标题: Amazonbot蜘蛛不遵循robots协议爬的我服务器死机有办法禁么？
自己的一个小站一天只有100多IP ,可是Amazonbot，每天爬取1W多次,robots.txx已经设置Disallow了。但是还是爬的服务器运行和cpu经常都是100%，然后就是死机。目前是搭建在搬瓦工1H1G的服务器上的，实在也不想换服务器了。看了下插件几乎都是收费的而且还不低。有啥办法禁止它么。

作者: qtip 时间: 2024-5-20 04:18
ua

作者: hxuf 时间: 2024-5-20 06:41
ua拉黑就是了。或者对ip段拉黑。

作者: tomcb 时间: 2024-5-20 07:22
是真蜘蛛还是假蜘蛛

作者: 轻功水上漂 时间: 2024-5-25 22:35
if ($http_user_agent ~* "UA") {

return 403;

}

欢迎光临全球主机交流论坛 (https://loc.888543.xyz/)