全球主机交流论坛

标题: 大佬们如何屏蔽完全谷歌蜘蛛 [打印本页]

作者: 189902m    时间: 2022-1-11 17:26
标题: 大佬们如何屏蔽完全谷歌蜘蛛
用VIR小鸡做了个小站,谷歌蜘蛛疯狂趴,负载状态全满,飘红,硬盘都日志被占满了,用了宝塔防火墙屏蔽IP,效果不好,我想完全屏蔽海外IP,但是套了CF,网站无法用了,大佬有什么方法,或都这方面文章参考一下
作者: emzz    时间: 2022-1-11 17:29
robot.txt
作者: Unique    时间: 2022-1-11 17:30
robots.txt
作者: zxhtx    时间: 2022-1-11 17:32
robots.txt

作者: 围观者    时间: 2022-1-11 17:32
我用的304策略

链接只要抓取过一次,以后再访问这链接,直接返回304,不经php,不查询mysql,  在nginx层就返了,对性能和流量损耗微乎其微
作者: 189902m    时间: 2022-1-11 17:35
emzz 发表于 2022-1-11 17:29
robot.txt

没用
作者: xvm    时间: 2022-1-11 17:36
围观者 发表于 2022-1-11 17:32
我用的304策略

链接只要抓取过一次,以后再访问这链接,直接返回304,不经php,不查询mysql,  在nginx层就 ...

老哥,能教教俺怎么设置吗?
天下苦Google久矣
作者: xvm    时间: 2022-1-11 17:38
围观者 发表于 2022-1-11 17:32
我用的304策略

链接只要抓取过一次,以后再访问这链接,直接返回304,不经php,不查询mysql,  在nginx层就 ...

搜成403了,304真的是好东西,谢大佬
作者: G.K.D    时间: 2022-1-11 17:39
套了 Cloudflare?在 Cloudflare 防火墙里添加个 UA 规则拒绝不就行啦。。。
作者: junhan    时间: 2022-1-11 17:54
套了CF的话,你CF后台防火墙添加,用户代理,包含 Google就可以了
作者: citywar    时间: 2022-1-11 18:01

去google举报自己 。。带。。内容
作者: 围观者    时间: 2022-1-11 18:41
xvm 发表于 2022-1-11 17:38
搜成403了,304真的是好东西,谢大佬

我以前就发帖说过这个问题

https://loc.888543.xyz/thread-641587-1-1.html

返回304真的不影响搜索引擎,自身实验过了,并且现在一直在用
作者: 六翼天使    时间: 2022-1-11 18:45
谷歌站长助手有屏蔽?
作者: micms    时间: 2022-1-11 19:07
有蜘蛛爬还不好吗
作者: Anoneko    时间: 2022-1-11 19:09
首先验证下是不是真谷歌蜘蛛
作者: hins    时间: 2022-1-12 14:35
一键屏蔽海外ip




欢迎光临 全球主机交流论坛 (https://loc.888543.xyz/) Powered by Discuz! X3.4