家里宽带用树莓派做爬虫，经常掉线，大家有没有遇到过？

甜菜超人 · 发表于 2021-8-8 09:27:16

本帖最后由甜菜超人于 2021-8-8 09:30 编辑

移动家宽，lao毛子路由器拨号的，树莓派爬虫线程7000，不采集视频和图片，所以总流量不大。
现在遇到尴尬的情况是，只要爬虫开启几分钟后，路由器上就可以看到PPPOE频繁掉线+重播+掉线，，，lao毛子路由器CPU占用不到10%。
（停用爬虫十来分钟后，网络就正常稳定了，同样程序放在VPS就没有这个掉网情况，当然线程会下调一些）

莫非家宽有网络请求限制？各位有没有遇到过，如何解决的

icedew · 发表于 2021-8-8 10:06:42

家宽有连接数限制的，就是防止你做站逼你上商宽的

qibinghua · 发表于 2021-8-8 10:03:28

端口数量限制

樯橹 · 发表于 2021-8-8 11:06:17

连接数限制的，我过年时才发现的，同样移动，我用的是玩客云去下个电影想看，结果突然远程全断了，我一度以为是谁把我的网线搞断了，过完年回来排查了半天发现玩客云一下东西就断网，当时还不信因为年前也用过玩客云下东西但是没有任何影响，后来测试了好几遍实锤了，当时用的op后来刷了高恪，发现连接数到1000就开始断断续续的了，到1800直接断网了，只能重拨，没办法只能开双拨了，叠加端口数叠加带宽真爽

yc260982 · 发表于 2021-8-8 11:11:05

7000 太狠了

甜菜超人 · 发表于 2021-8-8 13:25:59

yc260982 发表于 2021-8-8 11:11
7000 太狠了

纯文本源数据，所以不管哪个硬件，资源占用都很小。我还想开更大来着。

现在线程下调到1000，可以稳定在哪里。

wellknown · 发表于 2021-8-9 01:15:25

哈哈连接太多了

tomcb · 发表于 2021-8-9 01:36:16

有链接数限制，挂个迅雷或BT就会发现其他东西连不上网了

arazyu · 发表于 2021-8-9 10:51:24

宽带问题吧

布鲁斯的月光 · 发表于 2021-8-9 10:57:03

爱奇艺 + 迅雷 + 百度网盘妥妥的断网。

		自动登录	找回密码
密码			注册

[Windows VPS] 家里宽带用树莓派做爬虫，经常掉线，大家有没有遇到过？

浏览过的版块