PHP と phpSpider: Web サイトの変更によって引き起こされるデータ クロールの失敗にどう対処するか?

PHP と phpSpider: Web サイトの変更によって引き起こされるデータ クロールの失敗にどう対処するか?

はじめに:
Web クローラーは、Web サイトからデータを取得して処理するために使用される自動プログラムです。 PHP は広く使用されているプログラミング言語であり、phpSpider は PHP に基づいたオープンソースの Web クローラー フレームワークです。ただし、Web サイトに継続的に変更が加えられると、通常は正常に機能するクローラーが失敗する可能性があります。この記事では、PHP と phpSpider での Web サイト変更によるデータ クローリングの失敗への対処方法と、参考となるサンプル コードをいくつか紹介します。

1. Web サイト構造の変化を理解する
Web サイトの変更によるデータ クロールの障害に対応する前に、まず Web サイト構造の変化を理解する必要があります。場合によっては、タグ名の変更、特定のタグの削除、タグの階層構造の変更など、Web サイトの HTML 構造が変更されることがあります。また、Web サイトの URL 形式が変更されたり、パラメータが追加されたり、パスが変更されたりする場合があります。したがって、クローラーを実行してエラー メッセージを観察し、クロールの失敗の具体的な理由を調べる必要があります。

2. HTML 構造の変更に柔軟に対応する
Web サイトの HTML 構造が変更されたことが判明した場合、クローラー コードを変更することでその変更に対応できます。利用可能な方法の一部を次に示します。

1. XPath または CSS セレクターによる要素の選択
   XPath セレクターと CSS セレクターは、要素を選択するためによく使用される 2 つの方法です。タグ名が変更された場合、タグ名に依存する代わりに XPath または CSS セレクターを使用して要素を選択できます。たとえば、次のコードは元々タグの選択に使用されていました:

   $node = $html->find('div.article', 0);

   ログイン後にコピー

   タグ名が <section> に変更された場合、XPath を使用してタグを選択できます:

   $node = $html->xpath('//section[@class="article"]')[0];

   ログイン後にコピー

2. 要素が存在しない場合の処理​​
   Web サイトが変更されると、一部の要素が削除されたり、別の場所に移動される場合があります。この状況に対処するには、まず要素が存在するかどうかを判断してから、データを抽出します。たとえば、次のコードはもともと要素のテキスト コンテンツを抽出するために使用されていました:

   $element = $node->find('p', 0);
   $content = $element->text();

   ログイン後にコピー

   要素が存在しない可能性がある場合は、次のコードを使用できます:

   if ($element = $node->find('p', 0)) {
    $content = $element->text();
   } else {
    $content = "";
   }

   ログイン後にコピー

3. 正規表現を使用するマッチング
   HTMLの構造が大きく変わり、従来の方法では要素を選択できない場合、正規表現を使用して必要なデータをマッチングできます。正規表現は、特定のパターンに基づいてテキストを照合できる強力なパターン マッチング ツールです。たとえば、最初は要素を選択して画像 URL を取得します:

   $imageUrl = $node->find('img', 0)->src;

   ログイン後にコピー

   画像要素を選択できない場合は、正規表現を使用して HTML から画像 URL を抽出できます:

   preg_match('/<img src="(.*?)"/', $html, $matches);
   $imageUrl = $matches[1];

   ログイン後にコピー

Web サイトの URL 形式が変更されると、新しい URL 形式に適応するようにクローラー コードを変更する必要があります。利用可能な方法は次のとおりです。

1. URL の構築

   新しい URL 形式が元の URL に基づいてパラメータを追加する場合、PHP の URL 構築関数を使用して新しい URL を構築できます。たとえば、次のコードは元々、次のページの URL を抽出するために使用されていました。
   

   $nextPageUrl = $html->find('a.next', 0)->href;

   ログイン後にコピー
   Web サイトが URL の後にパラメータ

   page を追加した場合、http_build_query を使用できます。 新しい URL を構築する関数。 :

   $nextPageUrl = $baseUrl . '?' . http_build_query(array('page' => $pageNum + 1));

   ログイン後にコピー

2. 正規表現を使用して URL を一致させる

   URL 形式がより複雑に変更される場合、正規表現を使用して新しい URL と一致させることができます。 URL 形式。たとえば、次のコードはもともと記事の URL を抽出するために使用されていました:
   

   $articleUrl = $node->find('a', 0)->href;

   ログイン後にコピー
   新しい URL 形式で

   タグが使用されなくなった場合は、正規表現を使用できます。 URL と一致させる:

   preg_match('/<a href="(.*?)"/', $html, $matches);
   $articleUrl = $matches[1];

   ログイン後にコピー