84669 Lernen von Personen
152542 Lernen von Personen
20005 Lernen von Personen
5487 Lernen von Personen
7821 Lernen von Personen
359900 Lernen von Personen
3350 Lernen von Personen
180660 Lernen von Personen
48569 Lernen von Personen
18603 Lernen von Personen
40936 Lernen von Personen
1549 Lernen von Personen
1183 Lernen von Personen
32909 Lernen von Personen
如题描述因为一些需求想对一份url列表进行get请求扫描,看看这些页面是否存在平时用的requests模块的get和多进程来实现,感觉还是不够快.于是产生了如题描述的这种想法.顺便问下,为什么vps提供商会封我...好郁闷.
人生最曼妙的风景,竟是内心的淡定与从容!
heads=requests.head(url)
平时用的requests模块的get和多进程来实现,感觉还是不够快.于是产生了如题描述的这种想法.
取决于多种原因,你丢弃 GET 的响应体并不一定会更快。
如果 HEAD 满足你的要求,你就用 HEAD 吧。
记得使用requests.Session,这样对同一服务器的访问可以加速一倍以上。
requests.Session
PS: 建议好好学习一下 HTTP,这样遇到问题你就不需要来问然后等着,最后拿到一个自己都不明白的解决方案。
heads=requests.head(url)
取决于多种原因,你丢弃 GET 的响应体并不一定会更快。
如果 HEAD 满足你的要求,你就用 HEAD 吧。
记得使用
requests.Session
,这样对同一服务器的访问可以加速一倍以上。PS: 建议好好学习一下 HTTP,这样遇到问题你就不需要来问然后等着,最后拿到一个自己都不明白的解决方案。