全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 1819|回复: 15
打印 上一主题 下一主题

大佬们如何屏蔽完全谷歌蜘蛛

[复制链接]
跳转到指定楼层
1#
发表于 2022-1-11 17:26:32 | 只看该作者 回帖奖励 |正序浏览 |阅读模式
用VIR小鸡做了个小站,谷歌蜘蛛疯狂趴,负载状态全满,飘红,硬盘都日志被占满了,用了宝塔防火墙屏蔽IP,效果不好,我想完全屏蔽海外IP,但是套了CF,网站无法用了,大佬有什么方法,或都这方面文章参考一下
16#
发表于 2022-1-12 14:35:38 | 只看该作者
一键屏蔽海外ip
15#
发表于 2022-1-11 19:09:01 来自手机 | 只看该作者
首先验证下是不是真谷歌蜘蛛
14#
发表于 2022-1-11 19:07:26 | 只看该作者
有蜘蛛爬还不好吗
13#
发表于 2022-1-11 18:45:55 | 只看该作者
谷歌站长助手有屏蔽?
12#
发表于 2022-1-11 18:41:11 | 只看该作者
xvm 发表于 2022-1-11 17:38
搜成403了,304真的是好东西,谢大佬

我以前就发帖说过这个问题

https://loc.888543.xyz/thread-641587-1-1.html

返回304真的不影响搜索引擎,自身实验过了,并且现在一直在用
11#
发表于 2022-1-11 18:01:27 | 只看该作者

去google举报自己 。。带。。内容
10#
发表于 2022-1-11 17:54:39 来自手机 | 只看该作者
套了CF的话,你CF后台防火墙添加,用户代理,包含 Google就可以了
9#
发表于 2022-1-11 17:39:13 | 只看该作者
套了 Cloudflare?在 Cloudflare 防火墙里添加个 UA 规则拒绝不就行啦。。。
8#
发表于 2022-1-11 17:38:55 来自手机 | 只看该作者
围观者 发表于 2022-1-11 17:32
我用的304策略

链接只要抓取过一次,以后再访问这链接,直接返回304,不经php,不查询mysql,  在nginx层就 ...

搜成403了,304真的是好东西,谢大佬
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2025-12-23 23:57 , Processed in 0.071099 second(s), 10 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表