python - Comment confirmer rapidement le code d'état d'une page Web contenant plus de 200 millions d'URL?
世界只因有你
世界只因有你 2017-05-18 10:56:14
0
5
558

J'ai utilisé des requêtes pour écrire un multi-thread, mais cela semble un peu lent. Existe-t-il d'autres méthodes ?

世界只因有你
世界只因有你

répondre à tous (5)
PHPzhong

使用 Tornado 的 curl 客户端支持,读到请求头就关闭连接。(我还没试过。如果它提供的 HTTP 客户端不支持中途关闭连接的话,可以像我这样使用 TCP 然后用 http-parser 来解析。)

好吧,其实你可以直接给 fetchtitle 加个取状态码的扩展就可以了……(记得装 pycurl 哦)

    巴扎黑

    python本来就慢,想速度快就直接写tcp请求然后读回复,读到状态后就关掉socket。

      左手右手慢动作

      使用grequests,对requests进行了并发封装

      https://github.com/kennethrei...

        迷茫

        这种情况可以考虑使用gevent,tornado,scrapy-redis,asyncio!

          大家讲道理

          Head请求能快一点吧?

            Derniers téléchargements
            Plus>
            effets Web
            Code source du site Web
            Matériel du site Web
            Modèle frontal
            À propos de nous Clause de non-responsabilité Sitemap
            Site Web PHP chinois:Formation PHP en ligne sur le bien-être public,Aidez les apprenants PHP à grandir rapidement!