84669 人學習
152542 人學習
20005 人學習
5487 人學習
7821 人學習
359900 人學習
3350 人學習
180660 人學習
48569 人學習
18603 人學習
40936 人學習
1549 人學習
1183 人學習
32909 人學習
如题描述因为一些需求想对一份url列表进行get请求扫描,看看这些页面是否存在平时用的requests模块的get和多进程来实现,感觉还是不够快.于是产生了如题描述的这种想法.顺便问下,为什么vps提供商会封我...好郁闷.
人生最曼妙的风景,竟是内心的淡定与从容!
heads=requests.head(url)
平時用的requests模組的get和多進程來實現,感覺還是不夠快.於是產生瞭如題描述的這種想法.
取決於多種原因,你丟棄 GET 的響應體不一定會更快。
如果 HEAD 符合你的要求,你就用 HEAD 吧。
記得使用requests.Session,這樣對同一台伺服器的存取可以加速一倍以上。
requests.Session
PS: 建議好好學習 HTTP,這樣遇到問題就不需要來問然後等著,最後拿到一個自己都不明白的解決方案。
heads=requests.head(url)
取決於多種原因,你丟棄 GET 的響應體不一定會更快。
如果 HEAD 符合你的要求,你就用 HEAD 吧。
記得使用
requests.Session
,這樣對同一台伺服器的存取可以加速一倍以上。PS: 建議好好學習 HTTP,這樣遇到問題就不需要來問然後等著,最後拿到一個自己都不明白的解決方案。