python - Wie kann ich den Statuscode einer Webseite mit 200 Millionen++ URLs schnell bestätigen?
世界只因有你
世界只因有你 2017-05-18 10:56:14
0
5
563

Ich habe Anfragen verwendet, um einen Multithread zu schreiben, aber es fühlt sich etwas langsam an. Gibt es andere Methoden?

世界只因有你
世界只因有你

Antworte allen(5)
PHPzhong

使用 Tornado 的 curl 客户端支持,读到请求头就关闭连接。(我还没试过。如果它提供的 HTTP 客户端不支持中途关闭连接的话,可以像我这样使用 TCP 然后用 http-parser 来解析。)

好吧,其实你可以直接给 fetchtitle 加个取状态码的扩展就可以了……(记得装 pycurl 哦)

巴扎黑

python本来就慢,想速度快就直接写tcp请求然后读回复,读到状态后就关掉socket。

左手右手慢动作

使用grequests,对requests进行了并发封装

https://github.com/kennethrei...

迷茫

这种情况可以考虑使用gevent,tornado,scrapy-redis,asyncio!

大家讲道理

Head请求能快一点吧?

Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage
Über uns Haftungsausschluss Sitemap
Chinesische PHP-Website:Online-PHP-Schulung für das Gemeinwohl,Helfen Sie PHP-Lernenden, sich schnell weiterzuentwickeln!