全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 1774|回复: 28
打印 上一主题 下一主题

py采集,源站ssl错误怎么办?

[复制链接]
跳转到指定楼层
1#
发表于 2021-4-13 15:06:07 | 只看该作者 回帖奖励 |正序浏览 |阅读模式
提示: 作者被禁止或删除 内容自动屏蔽
推荐
发表于 2021-4-13 15:25:43 | 只看该作者
verify = False
推荐
发表于 2021-4-21 22:47:53 | 只看该作者
这个简单

res = requests.get(url=url, headers=headers,verify=False)
29#
发表于 2021-4-22 13:21:02 | 只看该作者
我是坏虫 发表于 2021-4-22 12:49
大佬,人家的是自动入库,+图片本地化的

我不管,反正我下载完了
28#
 楼主| 发表于 2021-4-22 12:49:14 | 只看该作者
提示: 作者被禁止或删除 内容自动屏蔽
27#
发表于 2021-4-22 06:47:13 | 只看该作者
本帖最后由 Waylon 于 2021-4-22 06:48 编辑

FINISHED --2021-04-21 13:59:54--
Total wall clock time: 1h 12m 30s
Downloaded: 63571 files, 6.0G in 35m 55s (2.85 MB/s)



[root@xxx xgmmtk]# du -h --max-depth=1
6.2G    ./www.xgmmtk.com
6.2G    .
[root@XXX xgmmtk]# echo -n "文件夹  : ";ls -lR|grep "^d"|wc -l;echo -n "文件数  : ";ls -lR|grep "^-"|wc -l;
文件夹  : 3
文件数  : 63571
[root@XXX xgmmtk]#
26#
发表于 2021-4-22 00:43:01 | 只看该作者
本帖最后由 Waylon 于 2021-4-22 00:51 编辑

这网站有意思,爬它

不会python,直接wget
25#
发表于 2021-4-22 00:10:39 | 只看该作者
我在想需要多大磁盘来装图片呢
24#
发表于 2021-4-21 23:35:20 | 只看该作者
全球采集论坛
21#
发表于 2021-4-13 16:53:41 | 只看该作者
他没开SSL呀,你不加S不就完了

您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2026-1-13 11:00 , Processed in 0.069646 second(s), 12 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表