84669 personnes étudient
152542 personnes étudient
20005 personnes étudient
5487 personnes étudient
7821 personnes étudient
359900 personnes étudient
3350 personnes étudient
180660 personnes étudient
48569 personnes étudient
18603 personnes étudient
40936 personnes étudient
1549 personnes étudient
1183 personnes étudient
32909 personnes étudient
J'ai utilisé des requêtes pour écrire un multi-thread, mais cela semble un peu lent. Existe-t-il d'autres méthodes ?
使用 Tornado 的 curl 客户端支持,读到请求头就关闭连接。(我还没试过。如果它提供的 HTTP 客户端不支持中途关闭连接的话,可以像我这样使用 TCP 然后用 http-parser 来解析。)
好吧,其实你可以直接给 fetchtitle 加个取状态码的扩展就可以了……(记得装 pycurl 哦)
python本来就慢,想速度快就直接写tcp请求然后读回复,读到状态后就关掉socket。
使用grequests,对requests进行了并发封装
https://github.com/kennethrei...
这种情况可以考虑使用gevent,tornado,scrapy-redis,asyncio!
用Head请求能快一点吧?
Head
使用 Tornado 的 curl 客户端支持,读到请求头就关闭连接。(我还没试过。如果它提供的 HTTP 客户端不支持中途关闭连接的话,可以像我这样使用 TCP 然后用 http-parser 来解析。)
好吧,其实你可以直接给 fetchtitle 加个取状态码的扩展就可以了……(记得装 pycurl 哦)
python本来就慢,想速度快就直接写tcp请求然后读回复,读到状态后就关掉socket。
使用grequests,对requests进行了并发封装
https://github.com/kennethrei...
这种情况可以考虑使用gevent,tornado,scrapy-redis,asyncio!
用
Head
请求能快一点吧?