全球主机交流论坛

标题: py采集,源站ssl错误怎么办? [打印本页]

作者: 我是坏虫    时间: 2021-4-13 15:06
提示: 作者被禁止或删除 内容自动屏蔽
作者: 我是坏虫    时间: 2021-4-13 15:24
提示: 作者被禁止或删除 内容自动屏蔽
作者: 6700    时间: 2021-4-13 15:25
verify = False
作者: 落英缤纷    时间: 2021-4-13 15:25
这么无耻的网站 一定要私聊发我  我来批判性的看一会。
作者: 我是坏虫    时间: 2021-4-13 15:27
提示: 作者被禁止或删除 内容自动屏蔽
作者: aipage    时间: 2021-4-13 15:29
私房、尤物、捆绑、刺激!

这些关键词。en....
作者: 榆榆不可及    时间: 2021-4-13 15:30
传说中的美腿炮架 啧啧啧
老哥借一部说话
作者: openboy    时间: 2021-4-13 15:30
提示: 作者被禁止或删除 内容自动屏蔽
作者: 我是坏虫    时间: 2021-4-13 15:31
提示: 作者被禁止或删除 内容自动屏蔽
作者: aipage    时间: 2021-4-13 15:33
我是坏虫 发表于 2021-4-13 15:31
别说了,我怕
我用良心云hk反代加速的

一打就进黑洞。哈哈。你还是别把站出来。
作者: citywar    时间: 2021-4-13 15:35
发邮件,推荐几个免费的SSL给站长。
作者: 我是坏虫    时间: 2021-4-13 15:35
提示: 作者被禁止或删除 内容自动屏蔽
作者: 6700    时间: 2021-4-13 15:36
我是坏虫 发表于 2021-4-13 15:27
我用百度到这个,但是不会添加啊
https://github.com/hijkpw/94imm/blob/master/crawler/crawler_mm131.p ...

requests(......, verify = False)
作者: hjvn2211445    时间: 2021-4-13 16:28
你这个翻版的吧
直接采mm131.net不就好。

作者: 我是坏虫    时间: 2021-4-13 16:31
提示: 作者被禁止或删除 内容自动屏蔽
作者: hjvn2211445    时间: 2021-4-13 16:41
我是坏虫 发表于 2021-4-13 16:31
net打不开啊

怎么打不开,全国能都打开
https://www.boce.com/http/www.mm131.net/a83dee217bd6a43512262300bbd78143.html
作者: van    时间: 2021-4-13 16:42
hjvn2211445 发表于 2021-4-13 16:28
你这个翻版的吧
直接采mm131.net不就好。

打不开呀
作者: hjvn2211445    时间: 2021-4-13 16:44
van 发表于 2021-4-13 16:42
打不开呀

加www
作者: van    时间: 2021-4-13 16:45
hjvn2211445 发表于 2021-4-13 16:44
加www

可以了可以了
作者: 三季稻    时间: 2021-4-13 16:46
xgmmtk 点康姆  我看到了
作者: ymh1147    时间: 2021-4-13 16:53
他没开SSL呀,你不加S不就完了


作者: why    时间: 2021-4-21 22:36
有意思。。。
作者: 萌墨    时间: 2021-4-21 22:47
这个简单

res = requests.get(url=url, headers=headers,verify=False)
作者: gger    时间: 2021-4-21 23:35
全球采集论坛
作者: lanying    时间: 2021-4-22 00:10
我在想需要多大磁盘来装图片呢
作者: Waylon    时间: 2021-4-22 00:43
本帖最后由 Waylon 于 2021-4-22 00:51 编辑

这网站有意思,爬它

不会python,直接wget
作者: Waylon    时间: 2021-4-22 06:47
本帖最后由 Waylon 于 2021-4-22 06:48 编辑

FINISHED --2021-04-21 13:59:54--
Total wall clock time: 1h 12m 30s
Downloaded: 63571 files, 6.0G in 35m 55s (2.85 MB/s)



[root@xxx xgmmtk]# du -h --max-depth=1
6.2G    ./www.xgmmtk.com
6.2G    .
[root@XXX xgmmtk]# echo -n "文件夹  : ";ls -lR|grep "^d"|wc -l;echo -n "文件数  : ";ls -lR|grep "^-"|wc -l;
文件夹  : 3
文件数  : 63571
[root@XXX xgmmtk]#
作者: 我是坏虫    时间: 2021-4-22 12:49
提示: 作者被禁止或删除 内容自动屏蔽
作者: Waylon    时间: 2021-4-22 13:21
我是坏虫 发表于 2021-4-22 12:49
大佬,人家的是自动入库,+图片本地化的

我不管,反正我下载完了




欢迎光临 全球主机交流论坛 (https://loc.888543.xyz/) Powered by Discuz! X3.4