Python - Bagaimana dengan cepat mengesahkan kod status halaman web dengan 200 juta++ URL?
世界只因有你
世界只因有你 2017-05-18 10:56:14
0
5
559

Saya menggunakan permintaan untuk menulis berbilang benang, tetapi ia terasa agak lambat.

世界只因有你
世界只因有你

membalas semua (5)
PHPzhong

使用 Tornado 的 curl 客户端支持,读到请求头就关闭连接。(我还没试过。如果它提供的 HTTP 客户端不支持中途关闭连接的话,可以像我这样使用 TCP 然后用 http-parser 来解析。)

好吧,其实你可以直接给 fetchtitle 加个取状态码的扩展就可以了……(记得装 pycurl 哦)

    巴扎黑

    python本来就慢,想速度快就直接写tcp请求然后读回复,读到状态后就关掉socket。

      左手右手慢动作

      使用grequests,对requests进行了并发封装

      https://github.com/kennethrei...

        迷茫

        这种情况可以考虑使用gevent,tornado,scrapy-redis,asyncio!

          大家讲道理

          Head请求能快一点吧?

            Muat turun terkini
            Lagi>
            kesan web
            Kod sumber laman web
            Bahan laman web
            Templat hujung hadapan
            Tentang kita Penafian Sitemap
            Laman web PHP Cina:Latihan PHP dalam talian kebajikan awam,Bantu pelajar PHP berkembang dengan cepat!