84669인 학습
152542인 학습
20005인 학습
5487인 학습
7821인 학습
359900인 학습
3350인 학습
180660인 학습
48569인 학습
18603인 학습
40936인 학습
1549인 학습
1183인 학습
32909인 학습
如题描述因为一些需求想对一份url列表进行get请求扫描,看看这些页面是否存在平时用的requests模块的get和多进程来实现,感觉还是不够快.于是产生了如题描述的这种想法.顺便问下,为什么vps提供商会封我...好郁闷.
人生最曼妙的风景,竟是内心的淡定与从容!
heads=requests.head(url)
平时用的requests模块的get和多进程来实现,感觉还是不够快.于是产生了如题描述的这种想法.
取决于多种原因,你丢弃 GET 的响应体并不一定会更快。
如果 HEAD 满足你的要求,你就用 HEAD 吧。
记得使用requests.Session,这样对同一服务器的访问可以加速一倍以上。
requests.Session
PS: 建议好好学习一下 HTTP,这样遇到问题你就不需要来问然后等着,最后拿到一个自己都不明白的解决方案。
heads=requests.head(url)
取决于多种原因,你丢弃 GET 的响应体并不一定会更快。
如果 HEAD 满足你的要求,你就用 HEAD 吧。
记得使用
requests.Session
,这样对同一服务器的访问可以加速一倍以上。PS: 建议好好学习一下 HTTP,这样遇到问题你就不需要来问然后等着,最后拿到一个自己都不明白的解决方案。