node.js - ノード クローラー、IP プールを使用してアンチクロールを防ぐにはどうすればよいですか?
为情所困
为情所困 2017-06-05 11:13:33
0
1
1247

問題はこれです。ノードの学習を始めたばかりです。もちろん、これは明らかにクローラー用です。それで、最近小説を読んでいたのですが、無料小説サイトでは広告が多すぎるので、小説全体をクロールするクローラーを書こうと思ったのですが、URL リクエストが多すぎて逆になってしまいました。 -クロールされてブロックされました。回避するためにリクエスト間隔を長くしてみましたが、効果はありませんでした。IP アドレスを変更して回避できることを偶然発見しました。しかし、Baidu ではこの領域のリソースが少なすぎます。 , そこで専門家に質問するためにここに来ました。何かご存知のことがあれば、共有していただけます。ちょっとの間、ありがとう、神様。

強調しておきますが、問題は、アンチクライミングを回避するためにノード IP を変更する方法です。

使用されるフレームワークには、superagent、cherio、async が含まれます...神様、ありがとう。
コード:

リーリー

偉大な神を待っています

为情所困
为情所困

全員に返信(1)
小葫芦

アンチクロールとは、制御プログラムが 1 つの IP アドレスを使用して同じ Web サイトを非常に速い頻度で複数回クロールできないことを意味します。IP プールがあるため、プログラムは複数の IP を使用してリクエストを開始できます。この場合、プログラムが使用する IP を定期的に変更します。たとえば、クロールの頻度に応じて、30 分、またはそれ以上の間隔で、時間が経過したら、IP を変更します。クローラー プログラムの IP は次のリンクです。ノード エージェント、おそらく役立つでしょう/q/10...

いいねを押す +0
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート