使用PHP写采集程序时用到的几种方法及碰到的常见问题

此文档适合PHP初学者学习对网页采集的理解和应用。

使用PHP写采集程序时用到的几种方法及碰到的常见问题：

1、file_get_contents($url);

使用 file_get_contents 进行采集的使用实例如下：

$url = "//m.sbmmt.com";

$con = file_get_contents($url); //采集到的内容将存储到$con里面


2、使用 curl 来进行采集

使用 curl 来采集数据比 file_get_contents 更加灵活，现在很多网页做了防采集的措施，如果直接使用 file_get_contents 来进行采集的话，将无法成功

但是使用 curl 将没有这种问题，curl 可以模拟浏览器信息进行采集。

以下是使用 curl 进行采集的实例，其中 curl_setopt 是常用到的几项设置，请根据需要选择。

$url = "//m.sbmmt.com";

$useragent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)";

$header = array('Accept-Language: zh-cn','Connection: Keep-Alive','Cache-Control: no-cache');

$ch = curl_init(); //初始化 curl

curl_setopt($ch, CURLOPT_REFERER, $url);

curl_setopt($ch,CURLOPT_HTTPHEADER,$header); //模拟浏览器的头信息

curl_setopt($ch, CURLOPT_USERAGENT, $useragent); //模拟浏览器的信息

curl_setopt($ch, CURLOPT_RETURNTRANSFER,true); //是否保存采集内容

curl_setopt($ch, CURLOPT_TIMEOUT, 60); //curl允许执行的最大时间，单位是秒

curl_setopt($ch, CURLOPT_URL, $url); //要采集的网址

curl_setopt($ch, CURLOPT_HEADER, 1); //是否要保存头信息

$con = curl_exec($ch); //采集到的内容将存储到$con里面


3、使用网上非常流行的snoopy来进行采集，这是一个非常强大的采集插件，并且它的使用非常方便，你也可以在里面设置agent来模拟浏览器信息。

使用实例：

require('Snoopy.class.php'); //引入snoopy的类文件

$snoopy = new Snoopy; //初始化snoopy类

$url = "//m.sbmmt.com";

$snoopy->fetch($url); //开始采集内容

$con = $snoopy->results; //保存采集内容到$con

说明：设置agent是在 Snoopy.class.php 文件的第45行，请在该文件中搜索 “var $agent” （引号中的内容）。浏览器内容你可以使用PHP来获得，

使用 echo $_SERVER['HTTP_USER_AGENT']; 可以得到浏览器信息，将echo出来的内容复制到agent里面就可以了。


上面