Webページをクロールするphpのcurlカスタムgetメソッド

get メソッドを使用して Web ページのコンテンツを取得した後、対応するコンテンツを照合できるとします。

関数名が get であると仮定して、curl を使用して関数をカプセル化できます。 URL を渡すことで、指定した Web ページをリクエストし、指定した Web ページの HTML コードを返すことができます。コードは次のとおりです。

function get($url) {
    //初使化curl
    $ch = curl_init();
    //请求的url，由形参传入
    curl_setopt($ch, CURLOPT_URL, $url);
    //将得到的数据返回
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    //不处理头信息
    curl_setopt($ch, CURLOPT_HEADER, 0);
    //连接超过10秒超时
    curl_setopt($ch, CURLOPT_TIMEOUT, 10);
    //执行curl
    $output = curl_exec($ch);
    //关闭资源
    curl_close($ch);
    //返回内容
    return $output;
}

ここで、作成した get メソッドを使用して NetEase からリストをリクエストし、タイトルと URL を取得します。

まず get メソッドで URL を渡すことができます。この URL に対応する Web ページの HTML を取得します。

URLはNew Media Observation Networkのニュース一覧ページです: http://www.xmtnews.com/events。

赤い領域を収集します:

1. 赤い範囲の HTML を取得します

この範囲は次の HTML コードで始まります:

<section class="ov">

は次のコードで終わります:

<div class="hr-10"></div>

preg_match を使用すると、正規表現を作成し、それを照合して赤色の範囲の HTML を取得します。一致した HTML を変数 $area に代入します。

一致する正規表現は次のとおりです:

<section class="ov">(.*?)<div class="hr-10"><\/div>/mis'

2. 赤い領域のタイトルとタイトルの URL を一致させます

すべてのタイトルが <h3> タグ内にあることがわかります。 preg_match_all を使用して正規表現を記述します。

preg_match_all('/<h3><a href="(.*?)" title=".*?" class="headers" target="_blank">(.*?)<\/a><\/h3>/mis', $area, $find);

URL とコンテンツに一致するコンテンツを $find に配置し、$find 配列を出力すると、一致した結果が表示されます。

必要に応じて、タイトルの各行と URL の各行をループで読み取って表示することもできます。

すべてのコードのデモは次のとおりです:

<?php

$content = get('http://www.xmtnews.com/events');

preg_match('/<section class="ov">(.*?)<div class="hr-10"><\/div>/mis', $content, $match);

//将正则匹配到的内容赋值给$area
$area = $match[1];

preg_match_all('/<h3><a href="(.*?)" title=".*?" class="headers" target="_blank">(.*?)<\/a><\/h3>/', $area, $find);


var_dump($find);

function get($url) {

   //初使化curl
   $ch = curl_init();

   //请求的url，由形参传入
   curl_setopt($ch, CURLOPT_URL, $url);

   //将得到的数据返回
   curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

   //不处理头信息
   curl_setopt($ch, CURLOPT_HEADER, 0);

   //连接超过10秒超时
   curl_setopt($ch, CURLOPT_TIMEOUT, 10);

   //执行curl
   $output = curl_exec($ch);

   //关闭资源
   curl_close($ch);

   //返回内容
   return $output;
}
?>