全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 1816|回复: 15
打印 上一主题 下一主题

大佬们如何屏蔽完全谷歌蜘蛛

[复制链接]
跳转到指定楼层
1#
发表于 2022-1-11 17:26:32 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
用VIR小鸡做了个小站,谷歌蜘蛛疯狂趴,负载状态全满,飘红,硬盘都日志被占满了,用了宝塔防火墙屏蔽IP,效果不好,我想完全屏蔽海外IP,但是套了CF,网站无法用了,大佬有什么方法,或都这方面文章参考一下
5#
发表于 2022-1-11 17:32:42 | 只看该作者
我用的304策略

链接只要抓取过一次,以后再访问这链接,直接返回304,不经php,不查询mysql,  在nginx层就返了,对性能和流量损耗微乎其微
6#
 楼主| 发表于 2022-1-11 17:35:06 | 只看该作者
7#
发表于 2022-1-11 17:36:35 来自手机 | 只看该作者
围观者 发表于 2022-1-11 17:32
我用的304策略

链接只要抓取过一次,以后再访问这链接,直接返回304,不经php,不查询mysql,  在nginx层就 ...

老哥,能教教俺怎么设置吗?
天下苦Google久矣
8#
发表于 2022-1-11 17:38:55 来自手机 | 只看该作者
围观者 发表于 2022-1-11 17:32
我用的304策略

链接只要抓取过一次,以后再访问这链接,直接返回304,不经php,不查询mysql,  在nginx层就 ...

搜成403了,304真的是好东西,谢大佬
9#
发表于 2022-1-11 17:39:13 | 只看该作者
套了 Cloudflare?在 Cloudflare 防火墙里添加个 UA 规则拒绝不就行啦。。。
10#
发表于 2022-1-11 17:54:39 来自手机 | 只看该作者
套了CF的话,你CF后台防火墙添加,用户代理,包含 Google就可以了
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2025-12-15 16:05 , Processed in 0.072969 second(s), 10 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表