Python を使用してデータをクロールする場合は、単一プロセスでマルチスレッドクロールを有効にします。結局のところ、IO が集中するため、複数のプロセスを使用することはできません。コードは次のとおりです {code...} ただし、スレッドのリクエストが値を返さない限り、スレッドは待ち続けて書き込みを行わないため、メインプロセスがブロックされないという問題が発生します。。

Python マルチスレッドクロールファイル、タイムアウトと再接続を設定する方法。-PHP中国語ネットワークQ&A

Python を使用してデータをクロールする場合は、単一プロセスでマルチスレッドクロールを有効にします。結局のところ、IO が集中するため、複数のプロセスを使用することはできません。

コードは以下のように表示されます

リーリー

しかし、スレッドのリクエストが値を返さない限り、スレッドは待ち続けて書き込みを行わないため、メインプロセスがブロックされないという問題が発生します。
写真に示すように

それに対処するには、たとえば、requests.get にタイムアウトを設定しますが、タイムアウトを超えた後はどうすればよいですか? タイムアウトを設定すると、スレッドが直接強制終了されたようで、ダウンロードを続行できます。次のターゲットですが、これはダウンロードされていません。このように記録しましたが、この例外をキャッチして再接続できますか?メインは文章を書くことですが、あまり得意ではありません。奇妙な＃＃＃