インターネットとビッグデータ時代の到来により、より多くのデータが収集され、活用されるようになりました。 Web ページからデータを取得する多くの方法の中で、クローラー テクノロジーは最も強力で効率的な方法であると言えます。
実際のアプリケーション シナリオでは、多くの場合、Web ページから特定のデータ、特に Web ページ内のテーブル データを取得する必要があります。したがって、この記事では、PHP クローラー テクノロジを使用して、Web ページ内の表形式のデータを取得および解析する方法を紹介します。
クローラー コードの作成を開始する前に、PHP クローラー ライブラリをインストールして構成する必要があります。ここでは、PHP Simple HTML DOM Parser ライブラリを使用することを選択します。これは、HTML ドキュメント内のタグと属性を簡単に解析でき、一般的に使用される DOM 操作メソッドをいくつか提供する軽量の HTML パーサーです。このライブラリは、composer ツールを使用して簡単にインストールおよび構成できます。
Web ページ データをキャプチャするコードを記述する前に、まずターゲット Web ページの構造とデータ形式を分析する必要があります。必要なデータを正確に見つけて取得できます。ここでは、ブログ Web サイトの記事リスト ページを例に挙げます。以下に示すように、複数行のデータといくつかのテーブル要素が含まれています:
| 编号 | 标题 | 作者 | 发布时间 |
|---|---|---|---|
| 1 | PHP爬虫实战 | 张三 | 2022-06-01 08:00:00 |
| 2 | Python数据可视化 | 李四 | 2022-06-02 09:00:00 |
この Web ページのテーブルは ターゲット Web ページの分析結果を使用して、テーブル データを取得するクローラ コードを記述できます。 まず、ターゲット Web ページをロードし、 次に、データの各行を走査し、セル データを解析し、後続の処理のために配列に保存する必要があります。具体的には、 上記のコードでは、 最後に、データをデータベースに保存したり、Excel ファイルにエクスポートしたりするなど、必要に応じてデータをさらに処理して保存できます。 この記事では、PHP Simple HTML DOM Parser ライブラリを使用して Web テーブル データをクロールする方法を紹介します。対象となるWebページの構造やデータ形式を解析し、対応するDOM操作方法を利用することで、必要なデータを迅速に見つけて取得することができ、さまざまなデータ分析や活用シーンを実現します。もちろん、クローラー技術も Web サイトの利用規制やポリシーに準拠するよう注意する必要があり、過度に使用したり、他者の権利を侵害したりすることはできません。 以上がPHP クローラーの実践: Web テーブル データをクロールする方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。< で構成されています;table>、、、などのタグで構成され、その中に テーブルの列ヘッダーの定義に使用され、はテーブルの行データの定義に使用され、は タグはセルデータの定義に使用され、記事タイトルへのリンクを表します。
file_get_html()メソッドを使用してそれを DOM オブジェクトに変換する必要があります。次に、find()メソッドを使用して、データが配置されている要素を選択できます。たとえば、table > tbody > trは、の子を選択することを意味します。 要素
の下にあるすべてのタグ、つまりテーブル内のデータのすべての行。コードは次のとおりです。
$url = 'http://example.com/articles'; $html = file_get_html($url); $rows = array(); foreach ($html->find('table > tbody > tr') as $row) { // 解析表格数据 }
ログイン後にコピー
find('td')メソッドを使用して、各行要素の子要素を選択し、そのテキスト コンテンツまたはリンク アドレスを取得できます。コードは次のとおりです。
$url = 'http://example.com/articles'; $html = file_get_html($url); $rows = array(); foreach ($html->find('table > tbody > tr') as $row) { $data = array(); // 获取单元格文本内容或链接地址 $columns = $row->find('td'); $data['id'] = $columns[0]->plaintext; $data['title'] = $columns[1]->find('a', 0)->plaintext; $data['link'] = $columns[1]->find('a', 0)->href; $data['author'] = $columns[2]->plaintext; $data['date'] = $columns[3]->plaintext; $rows[] = $data; }
ログイン後にコピー
$data配列は、id、title を含む現在の行のデータを保存します。、author、dateはそれぞれテーブルの列に対応し、linkは記事タイトルのリンク アドレスです。$rows[] = $dataステートメントを使用して、$data配列を$rows配列に追加します。
このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
著者別の最新記事
2024-09-14 10:16:40
2024-09-14 10:16:36
2024-09-14 09:56:00
2024-09-14 09:55:46
2024-09-14 09:50:27
2024-09-14 09:42:40
2024-09-14 09:42:25
2024-09-14 09:30:09
2024-09-14 09:14:13
2024-09-14 09:11:13
最新の問題
未定義関数 create_function() の呼び出し
Web サイトのホームページに次のメッセージが表示されます。 致命的なエラー: 捕捉されないエラー: /customers/7/e/7/jovobytes.be/httpd.www...
から 2023-11-16 19:00:36
0
1
277
PHP は Unicode スペースをトリミングします
この文字のような Unicode スペースをトリミングしようとしていますが、このソリューションを使用してそれを行うことができました。この解決策の問題は、通常の文字間の Unicod...
から 2023-11-13 08:49:45
0
2
398
関連トピック
詳細>
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
