PHP Web クローリングの基本チュートリアル: cURL ライブラリを使用して Web サイトにアクセスする

インターネットの発展とデータの増加に伴い、Web クローラーはインターネット情報を取得する重要な方法の 1 つになりました。 Web クローラーは、ネットワーク リクエストを通じて Web サイトにアクセスし、Web サイト上の情報をクロールし、処理および分析する自動プログラムです。ここでは、PHP で基本的な Web クローラーを作成し、cURL ライブラリを使用してクロールする必要のある Web サイトにアクセスし、取得した情報を処理する方法を紹介します。

1. cURL ライブラリのインストール

cURL ライブラリは、コマンド ラインで動作する URL 変換ツールとして非常に強力なツールです。HTTP/HTTPS もサポートしています。/FTP/TELNETおよび他のネットワークプロトコル。 cURL ライブラリを使用すると、Web データを簡単にクロールしたり、FTP、HTTP POST および PUT データ経由でファイルをアップロードしたり、基本認証、ダイジェスト認証、または GSS-Negotiate 認証方法を使用してリモート サイトのリソースにアクセスしたりできます。 cURL ライブラリは非常に便利で使いやすいため、Web クローラーの作成に広く使用されています。

このチュートリアルでは、CURL 拡張機能を使用して cURL を使用する方法を説明します。そのため、まず、PHP に cURL 拡張ライブラリをインストールする必要があります。次のコマンド ラインを使用して、cURL 拡張機能をインストールできます。

sudo apt-get install php-curl

インストール後、拡張機能ライブラリが正常に実行できることを確認するために、php-fpm サービスを再起動する必要があります。

2. 基本的なクローラー スクリプトのスケルトン

次に、指定された URL にアクセスして URL Web ページの基本情報の一部を取得する基本的な Web クローラーを作成します。以下は、基本的なクローラー スクリプトのスケルトンです。

<?php
$curl = curl_init();           
$url = "https://www.example.com/";
curl_setopt($curl, CURLOPT_URL, $url);     
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
$result = curl_exec($curl);  
curl_close($curl);       
echo $result;
?>

上記のコードは、次の操作を実行します。

• cURL セッションを初期化します。
• 情報を抽出する URL を設定します。
• cURL がデータを画面に直接出力するのではなく返すようにオプションを設定します。
• リクエストを実行してデータを取得します。
• cURL セッションを解放します。

必要に応じて、curl_setopt オプションをカスタマイズすることもできます。たとえば、次のコード行を使用してタイムアウトを設定するオプションを追加できます。

curl_setopt($curl, CURLOPT_TIMEOUT, 5); // 5秒超时

さらに、curl_setopt オプションを使用して HTTP ヘッダーを設定し、Web サイトがリクエストを送信するブラウザをシミュレートすることもできます。要求されました。 Cookie を設定する必要がある場合は、curl_setopt オプションを使用して Cookie プレースホルダーを設定するか、cURL Cookie の関連関数を使用できます。

データを取得した後、抽出、解析、フィルタリングが必要になる場合があります。このプロセスでは、PHP の文字列処理関数、正規表現、またはその他の解析ライブラリの使用が必要になる場合があります。

3. 例: ターゲット Web サイトからの情報の抽出

Web クローラーの作成プロセスをよりよく理解するために、Web サイトから情報を抽出する方法を示す例を次に示します。 。この Web サイト (www.example.com) は、有意義なデータを取得できるテスト Web サイトです。

まず、cURL ライブラリを使用して、指定された Web サイトからデータを取得する必要があります。データの取得に使用されるコード スニペットは次のとおりです:

<?php
$curl = curl_init();
$url = "https://www.example.com/";
curl_setopt($curl, CURLOPT_URL, $url);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
$result = curl_exec($curl);
curl_close($curl);
echo $result;
?>

上記のコードを実行すると、完全なコードが出力されます。 www.example.com Web サイトの HTML コンテンツ。取得したWebサイトから特定の情報を抽出する必要があるため、HTMLを解析する必要があります。次のコードのように、DOMDocument クラスを使用して HTML を解析します。

<?php
$curl = curl_init();
$url = "https://www.example.com/";
curl_setopt($curl, CURLOPT_URL, $url);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
$result = curl_exec($curl);
curl_close($curl);
$dom = new DOMDocument;
$dom->loadHTML($result);
foreach ($dom->getElementsByTagName('a') as $link) {
    echo $link->getAttribute('href'), PHP_EOL;
}
?>

上記のコードは、DOMDocument クラスを使用して HTML をロードし、getElementsByTagName() メソッドを使用してすべての 要素を取得します。その後、 getAttribute() メソッドを使用して、対応する要素の href 属性を取得できます。コードを実行すると、出力が HTML タグに含まれる URL を解析して出力していることがわかります。

4. 概要

この記事では、cURL ライブラリを使用して基本的な Web クローラーを作成する方法を紹介しました。 Web サイトからデータを抽出する方法と HTML ドキュメントを解析する方法についても説明しました。これらの基本概念を理解することで、Web クローラーがどのように機能するかをより深く理解し、独自の Web クローラーを作成できるようになります。もちろん、Web クローラーの作成には多くの複雑なテクニックや問題が伴いますが、この記事が Web クローラー作成の旅の良いスタートを切るのに役立つことを願っています。

以上がPHP Web クローリングの基本チュートリアル: cURL ライブラリを使用して Web サイトにアクセスするの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。