很多httpd进程，负载很很高

mylawer

我心碎不了 发表于 2013-10-30 10:34
我们公司的网站大部分是百度蜘蛛爬的，百度站长工具里添加站点能看到抓取的频率，顺带验证一下是不是蜘蛛 ...

抓取.jpg (31.14 KB, 下载次数: 0)

2013-10-30 23:02 上传

点击文件名下载附件

这个抓取数正常吗？

我心碎不了

mylawer 发表于 2013-10-30 23:02
这个抓取数正常吗？

看apache日志吧，蜘蛛抓取虽然不抓js css 图片乱七八糟的，但是如果你页面是动态，而且数据量够大的话还是会造成很大负担的，你这里每天是110万次抓取，量不算低，当然如果站大还是加缓存吧。。。

mylawer

我心碎不了 发表于 2013-10-31 00:36
看apache日志吧，蜘蛛抓取虽然不抓js css 图片乱七八糟的，但是如果你页面是动态，而且数据量够大的话还 ...

我用的是lnmp一键安装包，
VPS：
CPU：Xeon E5606内存配额：2048MB ECC DDR3
硬盘配置：80G SAS硬盘+80G 备份
独享带宽：4M（BGP多线）
IP地址：1个独享IP
操作系统：linux

网站目前日IP5000，PV20000，同时在线人数差不多50-100人。数据库大小800M左右。版本为dx3.1。

已经打开了mem内存缓存。

mylawer

我昨天0点把网站日志打开了，今天8点下载的时候就看到日志大小是160M。。。。太恐怖了

我心碎不了

mylawer 发表于 2013-10-31 08:09
我昨天0点把网站日志打开了，今天8点下载的时候就看到日志大小是160M。。。。太恐怖了 ...

站点大了调整抓取压力可能会影响收录，建议还是找个专业运维检查一下吧。