简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
Python - 2億++のURLを持つWebページのステータスコードを素早く確認するには?
世界只因有你
世界只因有你 2017-05-18 10:56:14
0
5
557

リクエストを使ってマルチスレッドを書いたのですが、少し遅い気がします。他に方法はありますか？

世界只因有你
世界只因有你

全員に返信 (5)
PHPzhong
PHPzhong2017-05-18 10:58:14 5棟

Tornado の CURL クライアント サポートを使用して、リクエスト ヘッダーを読み取った後に接続を閉じます。 (私はまだ試していません。提供する HTTP クライアントが接続の途中で閉じることをサポートしていない場合は、TCP を使用し、http-parser を使用して私がやったように解析できます。)

実際には、fetchtitle に拡張機能を追加するだけでステータス コードを取得できます... (pycurl をインストールすることを忘れないでください)

いいねを押す+0
返信を追加
    巴扎黑
    巴扎黑2017-05-18 10:58:14 4棟

    Python は本質的に遅いので、高速にしたい場合は、TCP リクエストを直接書いて、ステータスを読んだ後、ソケットを閉じてください。

    いいねを押す+0
    返信を追加
      左手右手慢动作
      左手右手慢动作2017-05-18 10:58:14 3棟

      grequests を使用すると、リクエストは同時にカプセル化されます

      https://github.com/kennethrei...

      いいねを押す+0
      返信を追加
        迷茫
        迷茫2017-05-18 10:58:14 2棟

        この場合、gevent、tornado、scrapy-redis、asyncio の使用を検討できます。

        いいねを押す+0
        返信を追加
          大家讲道理
          大家讲道理2017-05-18 10:58:14 1棟

          Headを使用してリクエストすると早くなりますか?

          いいねを押す+0
          返信を追加
            人気のトピック
            詳細>
            人気の記事
            人気のチュートリアル
            詳細>
            関連するチュートリアル
            人気のおすすめ
            最新のコース
            最新のダウンロード
            詳細>
            ウェブエフェクト
            公式サイト
            サイト素材
            フロントエンドテンプレート
            私たちについて 免責事項 Sitemap
            PHP中国語ウェブサイト：福祉オンライン PHP トレーニング，PHP 学習者の迅速な成長を支援します！