Web クローラー - Python のマルチプロセスでリクエストを連携する方法
阿神
阿神 2017-06-22 11:52:30
0
2
696

これは、単一プロセスを順次実行するためのコードです:

リーリー

これはマルチプロセスのコードです:

リーリー

しかし、単一プロセスとマルチプロセスで費やされる時間にはほとんど違いはありません。問題はおそらくリクエストが IO をブロックしていることです。理解は正しいですか?マルチプロセスの目的を達成するにはコードをどのように変更すればよいですか? ######ありがとう!

阿神
阿神

闭关修行中......

全員に返信 (2)
phpcn_u1582

ファイルの書き込みのボトルネックは CPU ではなくディスク IO です。並列処理はあまり影響しません。ファイルの書き込みを行わずに時間を比較することもできます。

いいねを押す+0
    刘奇

    パラメータのないプールは
    os.cpu_count()または1を使用します
    シングルコアCPUの場合、または数が収集できない場合は、プロセスは1つだけです。

    それが理由のはずです。

    いいねを押す+0
      最新のダウンロード
      詳細>
      ウェブエフェクト
      公式サイト
      サイト素材
      フロントエンドテンプレート
      私たちについて 免責事項 Sitemap
      PHP中国語ウェブサイト:福祉オンライン PHP トレーニング,PHP 学習者の迅速な成長を支援します!