Python - 2억개 이상의 URL이 있는 웹페이지의 상태 코드를 빠르게 확인하는 방법은 무엇입니까?
世界只因有你
世界只因有你 2017-05-18 10:56:14
0
5
556

리퀘스트를 이용하여 멀티스레드를 작성했는데 조금 느린 느낌이 드네요. 다른 방법은 없나요?

世界只因有你
世界只因有你

모든 응답 (5)
PHPzhong

使用 Tornado 的 curl 客户端支持,读到请求头就关闭连接。(我还没试过。如果它提供的 HTTP 客户端不支持中途关闭连接的话,可以像我这样使用 TCP 然后用 http-parser 来解析。)

好吧,其实你可以直接给 fetchtitle 加个取状态码的扩展就可以了……(记得装 pycurl 哦)

    巴扎黑

    python本来就慢,想速度快就直接写tcp请求然后读回复,读到状态后就关掉socket。

      左手右手慢动作

      使用grequests,对requests进行了并发封装

      https://github.com/kennethrei...

        迷茫

        这种情况可以考虑使用gevent,tornado,scrapy-redis,asyncio!

          大家讲道理

          Head请求能快一点吧?

            최신 다운로드
            더>
            웹 효과
            웹사이트 소스 코드
            웹사이트 자료
            프론트엔드 템플릿
            회사 소개 부인 성명 Sitemap
            PHP 중국어 웹사이트:공공복지 온라인 PHP 교육,PHP 학습자의 빠른 성장을 도와주세요!