PHP と phpSpider を使用して電子商取引 Web サイトの商品価格をクロールするにはどうすればよいですか?

PHP と phpSpider を使用して電子商取引 Web サイトの商品価格をクロールするにはどうすればよいですか?

電子商取引の急速な発展に伴い、多くの人がウェブサイトで商品の価格情報を簡単に入手したいと考えています。開発者にとって、電子商取引 Web サイト上の商品価格を自動的にクロールするクローラー プログラムを作成することは、非常に困難な作業です。この記事では、この目標を達成するために PHP と phpSpider を使用する方法を紹介します。

まず、phpSpider をインストールする必要があります。 phpSpider は、Web サイトのデータを迅速かつ効率的にクロールできる強力な PHP クローラー フレームワークです。次のコマンドを使用して phpSpider をインストールできます:

composer require jaeger/querylist
composer require sammy1992/phpspider

インストールが完了したら、クローラー プログラムの作成を開始できます。

まず、crawl.php という名前の新しい PHP ファイルを作成します。このファイルでは、必要なクラス ライブラリと名前空間を導入する必要があります。

<?php
require 'vendor/autoload.php';

use phpspidercorephpspider;
use phpspidercoreequests;

次に、クローラー構成とクロール ルールを設定する必要があります。次のサンプル コードは、電子商取引 Web サイトから製品価格情報をクロールするように phpSpider を構成する方法を示しています。

$configs = [
    'name' => '爬取电子商务网站的产品价格',
    'tasknum' => 1,
    'log_show' => true,
    'domains' => [
        'example.com',
    ],
    'scan_urls' => [
        'http://www.example.com/products'
    ],
    'list_url_regexes' => [
        'http://www.example.com/products/d+',
    ],
    'content_url_regexes' => [
        'http://www.example.com/product/d+',
    ],
    'fields' => [
        [
            'name' => 'price',
            'selector' => '.price',
            'required' => true,
        ],
    ],
];

$spider = new phpspider($configs);

上記のコードでは、クローラーの名前を「電子商取引 Web サイトから製品価格をクロールする」に設定します。 " 、クロールする Web サイトのドメイン名を "example.com" に設定し、クロールするページを "http://www.example.com/products" に設定し、## などのクロール ルールを設定します。 #list_url_regexes は製品リスト ページの URL 正規表現を指定し、content_url_regexes は製品詳細ページの URL 正規表現を指定し、fields は抽出するフィールドを定義します。

$spider->on_extract_page = function($page, $data){
    foreach($data as $key=>$value){
        echo $key . ': ' . $value . "
";
    }
};

$spider->start();

以上がPHP と phpSpider を使用して電子商取引 Web サイトの商品価格をクロールするにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。