PHP と Scrapy を使用してデータをスクレイピングする方法を学ぶ-PHPチュートリアル-php.cn

PHP と Scrapy を使用してデータをスクレイピングする方法を学ぶ

王林

リリース： 2023-06-19 14:30:01

オリジナル

1402 人が閲覧しました

インターネットデータの量が増加するにつれて、データを迅速に取得して処理する方法が多くの人々にとって必要になっています。クローラーテクノロジーは、データを迅速に取得するための一般的な方法になりました。この記事では、PHP と Scrapy を使用してデータクローリングを実装する方法を紹介します。

1. PHP データクローリング

PHP は、多くの強力なデータ処理機能を備えた非常に人気のあるサーバーサイドスクリプト言語です。データクローリングは PHP を使用して実装できます。

1. PHP 組み込み関数を使用してデータを取得する

PHP には、Web ページのコンテンツを取得するために使用できる組み込み関数がいくつかあります。たとえば、file_get_contents() 関数は、URL アドレスのコンテンツを取得できます:

$html = file_get_contents('http://www.example.com/');

ログイン後にコピー

2。データを取得するには、サードパーティのライブラリを使用します。

PHP に付属の関数に加えて、、データの取得に使用できるサードパーティのライブラリが多数あります。例: cUrl ライブラリ:

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "http://www.example.com/");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$html = curl_exec($ch);
curl_close($ch);

ログイン後にコピー

3. HTML コンテンツの解析

HTML コンテンツを取得した後、それを解析して必要なデータを抽出する必要があります。現時点では、PHP の DOMDocument クラスを使用できます。

$dom = new DOMDocument();
$dom->loadHTML($html);
$links = $dom->getElementsByTagName('a');
foreach ($links as $link) {
    echo $link->nodeValue;
}

ログイン後にコピー

上記のコードは、ページ内のすべてのリンクを出力します。

2. Scrapy データクローリング

Scrapy は、クローラーを迅速に構築するために使用できる強力な Python クローラーフレームワークです。

1. Scrapy のインストール

Scrapy は、pip installscrapy コマンドを通じてインストールできます。インストールが完了したら、次のコマンドを使用して新しい Scrapy プロジェクトを作成できます:

scrapy startproject projectname

ログイン後にコピー

2. Spider

Scrapy の Spider は、データへのアクセス方法と解析方法を定義するために使用されます。。 Spider では、クロールを開始するリンクとデータの解析方法を定義する必要があります。

import scrapy

class ExampleSpider(scrapy.Spider):
    name = "example"
    start_urls = [
        'http://www.example.com/',
    ]

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }

ログイン後にコピー

3. Scrapy を実行する

上記のコードは、データにアクセスして解析する方法を定義します。次のコマンドを使用して Scrapy を実行します。