node.js - Node クローラーによる小説のクローリングに関する質問

Question

{code...} 以下は、私がリクエストしたコードです。別の js で特定の章のリストをクロールし、それを json で記述しました。ここで、各リンクを直接リクエストします。 {code...} これと同じことが起こりました。しばらく登っても墜落したようだった。

漂亮男人 · Answer

私は過去 2 日間この問題に対処してきました。最初は同期リクエストの問題だと思いましたが、別のものに変更しましたが、状況は変わりませんでした。おそらく IP Web サイトがブロックされているのではないかと思いました。その後、昼食中に同僚とチャットしていて、おそらくこれが問題だと言われました。この場合、無料のプロキシ IP をいくつか取得し、リクエスト時に、リクエストがタイムアウトするかエラーが報告される限り、すぐに IP アドレスに切り替えてリクエストを実行します。こうして、昨日は大きな小説を登ってきましたが、今日出勤してみたら、全部下りきっていて、問題ありませんでした（笑）。ただし、多くの無料プロキシ IP は使用できないため、時間の一部がこれに無駄になります。では、複数の本をクロールする方法を見てみましょう↖(^ω^)↗