全球主机交流论坛

标题: 家里宽带用树莓派做爬虫，经常掉线，大家有没有遇到过？ [打印本页]

作者: 甜菜超人 时间: 2021-8-8 09:27
标题: 家里宽带用树莓派做爬虫，经常掉线，大家有没有遇到过？
本帖最后由甜菜超人于 2021-8-8 09:30 编辑

移动家宽，lao毛子路由器拨号的，树莓派爬虫线程7000，不采集视频和图片，所以总流量不大。
现在遇到尴尬的情况是，只要爬虫开启几分钟后，路由器上就可以看到PPPOE频繁掉线+重播+掉线，，，lao毛子路由器CPU占用不到10%。
（停用爬虫十来分钟后，网络就正常稳定了，同样程序放在VPS就没有这个掉网情况，当然线程会下调一些）

莫非家宽有网络请求限制？各位有没有遇到过，如何解决的

作者: qibinghua 时间: 2021-8-8 10:03
端口数量限制

作者: icedew 时间: 2021-8-8 10:06
家宽有连接数限制的，就是防止你做站逼你上商宽的

作者: 樯橹 时间: 2021-8-8 11:06
连接数限制的，我过年时才发现的，同样移动，我用的是玩客云去下个电影想看，结果突然远程全断了，我一度以为是谁把我的网线搞断了，过完年回来排查了半天发现玩客云一下东西就断网，当时还不信因为年前也用过玩客云下东西但是没有任何影响，后来测试了好几遍实锤了，当时用的op后来刷了高恪，发现连接数到1000就开始断断续续的了，到1800直接断网了，只能重拨，没办法只能开双拨了，叠加端口数叠加带宽真爽

作者: yc260982 时间: 2021-8-8 11:11
7000 太狠了

作者: 甜菜超人 时间: 2021-8-8 13:25

yc260982 发表于 2021-8-8 11:11
7000 太狠了

纯文本源数据，所以不管哪个硬件，资源占用都很小。我还想开更大来着。

现在线程下调到1000，可以稳定在哪里。

作者: wellknown 时间: 2021-8-9 01:15
哈哈连接太多了

作者: tomcb 时间: 2021-8-9 01:36
有链接数限制，挂个迅雷或BT就会发现其他东西连不上网了

作者: arazyu 时间: 2021-8-9 10:51
宽带问题吧

作者: 布鲁斯的月光 时间: 2021-8-9 10:57

爱奇艺 + 迅雷 + 百度网盘妥妥的断网。

欢迎光临全球主机交流论坛 (https://loc.888543.xyz/)