84669인 학습
152542인 학습
20005인 학습
5487인 학습
7821인 학습
359900인 학습
3350인 학습
180660인 학습
48569인 학습
18603인 학습
40936인 학습
1549인 학습
1183인 학습
32909인 학습
리퀘스트를 이용하여 멀티스레드를 작성했는데 조금 느린 느낌이 드네요. 다른 방법은 없나요?
使用 Tornado 的 curl 客户端支持,读到请求头就关闭连接。(我还没试过。如果它提供的 HTTP 客户端不支持中途关闭连接的话,可以像我这样使用 TCP 然后用 http-parser 来解析。)
好吧,其实你可以直接给 fetchtitle 加个取状态码的扩展就可以了……(记得装 pycurl 哦)
python本来就慢,想速度快就直接写tcp请求然后读回复,读到状态后就关掉socket。
使用grequests,对requests进行了并发封装
https://github.com/kennethrei...
这种情况可以考虑使用gevent,tornado,scrapy-redis,asyncio!
用Head请求能快一点吧?
Head
使用 Tornado 的 curl 客户端支持,读到请求头就关闭连接。(我还没试过。如果它提供的 HTTP 客户端不支持中途关闭连接的话,可以像我这样使用 TCP 然后用 http-parser 来解析。)
好吧,其实你可以直接给 fetchtitle 加个取状态码的扩展就可以了……(记得装 pycurl 哦)
python本来就慢,想速度快就直接写tcp请求然后读回复,读到状态后就关掉socket。
使用grequests,对requests进行了并发封装
https://github.com/kennethrei...
这种情况可以考虑使用gevent,tornado,scrapy-redis,asyncio!
用
Head
请求能快一点吧?