被百度蜘蛛爬的太猛怎么办？

tiane12

RT，今天服务器有些卡，查了很久没找到原因，后来看访问日志才发现，百度蜘蛛爬的频率太高了啊。

5分钟内，9200多次请求，浏览器信息：Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

查了一下IP，
220.181.108.*
123.125.71.*
两个C短都是百度蜘蛛。

我也不能ban掉它啊，该怎么办？

ineme

你给我导点蜘蛛吧。

tiane12

Captain 发表于 2014-9-19 02:20
cpu能再升级下就不那么容易挂了，另外看下硬盘的状态

昨天已经反馈给百度了，等待处理。硬盘是刚换的新硬盘，应该没什么问题。

Captain

tiane12 发表于 2014-9-18 20:50
谢谢。查了，确实是百度。
名称:    baiduspider-123-125-71-87.crawl.baidu.com
Address:  123.125.71.8 ...

cpu能再升级下就不那么容易挂了，另外看下硬盘的状态

一灰

tiane12 发表于 2014-9-18 20:50
谢谢。查了，确实是百度。
名称:    baiduspider-123-125-71-87.crawl.baidu.com
Address:  123.125.71.8 ...

去百度站长工具提交，说蜘蛛爬死了服务器，而且这个数量也不正常，差不多变成搜狗的流氓蜘蛛了。

tiane12

一灰 发表于 2014-9-18 17:03
ip不一定准确的

用这个方法 http://niuzhan.org/thread-88-1-1.html

谢谢。查了，确实是百度。
名称:    baiduspider-123-125-71-87.crawl.baidu.com
Address:  123.125.71.87

非常感谢。

一灰

tiane12 发表于 2014-9-18 13:53
收录45万，问题是，来源IP通过IP138查了，来源是百度蜘蛛。

ip不一定准确的

用这个方法 http://niuzhan.org/thread-88-1-1.html

tiane12

一灰 发表于 2014-9-18 09:39
“5分钟内，9200多次请求”除非你的站收录几千万，不然你就是被采集了。

收录45万，问题是，来源IP通过IP138查了，来源是百度蜘蛛。

一灰

“5分钟内，9200多次请求”除非你的站收录几千万，不然你就是被采集了。

tiane12

哎呀 发表于 2014-9-18 00:13
百度的站长工具里面可以设置蜘蛛抓取次数

感谢！