再帰、メッセージキュー、クロールされたページのストレージ (Redis、データベース)

参照しているすべてのデータが小さなドメイン名の下にあるすべてのデータであり、原理を詳しく学習したくない場合は、scrapy を学習してください。

参照しているすべてのデータがネットワーク データ全体であり、クロールが幅優先なのか深さ優先なのかなどを理解したい場合は、まず 10,000 台以上のサーバーが必要です。

同じ Web サイトの場合は、再帰を使用してクロールします。同じ Web サイトを最後までクロールできないのはなぜですか?

Web サイトの構造が単純で繰り返しの場合は、まずページ番号 URL のパターンを分析し、次に最初のページから直接総ページ数を取得し、次に他のページの URL を手動で構築できます。

まず、クロールの考え方について簡単に説明します。www.xxx.com/post/1.html のようなページのリンクが非常に単純な場合は、再帰またはループを記述してクロールできます。

。

リーリー

中国信用ブラックリストのウェブサイトからすべての写真をローカルに保存するための簡単なコードウェブサイト自体はシンプルです！しかし、ウェブサイトはその場でクラッシュし、私は酔っていました。