PHP Web クローラーを使用して Zhihu をクロールする方法-PHPチュートリアル-php.cn

インターネットの急速な発展により、情報爆発の時代が到来しました。 Zhihuは高品質な質疑応答プラットフォームとして豊富な知識と多くのユーザー情報を有しており、クローラー開発者にとっては貴重な宝であることは間違いありません。

この記事では、PHP 言語を使用して Zhihu データをクロールする Web クローラーを作成する方法を紹介します。

ターゲットデータの決定

Web クローラーの作成を開始する前に、まずクロールする必要があるデータを決定する必要があります。たとえば、Zhihu 上の質問とその回答、ユーザー情報などを取得したい場合があります。

ページ構造の分析

ブラウザの開発者ツールを使用すると、Zhihu ページの構造を簡単に分析できます。分析する前に、まず Zhihu ホームページを開き、F12 キーを押して [要素] タブを選択します。このステップにより、ページの HTML コードを確認できるようになります。

HTML コードを観察すると、クロールする必要のあるデータが配置されている要素と、対応するクラス名または ID 名を見つけることができます。たとえば、質問のタイトルを取得したい場合、質問の HTML タグを見つけて、対応するクラス名または ID 名を確認できます。この情報は、後でクローラーコードを作成するときに重要な役割を果たします。

HTTP リクエストを送信し、応答データを解析する

PHP を使用してクローラプログラムを作成する場合、cURL ライブラリを使用して HTTP リクエストを送信し、応答データを取得できます。以下は簡単な例です:

$url = 'https://www.zhihu.com/question/123456789'; $curl = curl_init($url); curl_setopt($curl, CURLOPT_RETURNTRANSFER, true); $response = curl_exec($curl); curl_close($curl);

ログイン後にコピー

上の例では、cURL ライブラリを使用して、Zhihu 上の質問に HTTP リクエストを送信し、応答データを保存します。次に、DOMDocument や SimpleXMLElement などの PHP ライブラリを使用して応答データを解析できます。

必要なデータを抽出する

応答データを解析した後、HTML ドキュメントを分析して必要なデータを抽出する必要があります。これは、DOMXPath や正規表現などの PHP ライブラリを使用して実現できます。

たとえば、Zhihu に関する質問に対するすべての回答を取得したい場合は、まず DOMXPath を使用して、すべての回答が含まれる HTML 要素を取得し、次にこれらの要素から必要なデータを抽出します。

$doc = new DOMDocument(); $doc->loadHTML($response); $xpath = new DOMXPath($doc); $answer_elements = $xpath->query("//div[@class='List-item']"); foreach ($answer_elements as $element) { // 使用DOMElement的方法获取答案的标题、作者、发布时间等信息 }

ログイン後にコピー

データの保存

最後に、抽出したデータをデータベースまたはファイルに保存できます。データをデータベースに保存したい場合は、PHP MySQLi または PDO ライブラリを使用してこれを実現できます。データをファイルに保存したい場合は、fopen や fwrite などの PHP ファイル操作ライブラリを使用してこれを実現できます。

$fp = fopen("data.csv", "w"); foreach ($data as $row) { fputcsv($fp, $row); } fclose($fp);

ログイン後にコピー

上の例では、fputcsv 関数を使用して、指定された CSV ファイルにデータを保存しました。

概要

PHP を使用してクローラープログラムを作成すると、Zhihu 上のデータを簡単にクロールできます。開発プロセスでは、ターゲットデータを決定し、ページ構造を分析し、HTTP リクエストを送信して応答データを解析し、必要なデータを抽出してデータを保存する必要があります。ここで紹介した方法は基本的な枠組みにすぎず、実際の開発ではニーズに応じて調整や最適化が必要になる場合があります。

以上がPHP Web クローラーを使用して Zhihu をクロールする方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。