這篇文章主要介紹了php實現遞歸抓取網頁類別,實例分析了php遞歸操作及網頁抓取的技巧,非常具有實用價值,需要的朋友可以參考下
本文實例講述了php實作遞歸抓取網頁類別的方法。具體如下：
<?php
class crawler{
private $_depth=5;
private $_urls=array();
function extract_links($url)
{
if(!$this->_started){
$this->_started=1;
$curr_depth=0;
}else{
$curr_depth++;
}
if($curr_depth<$this->_depth)
{
$data=file_get_contents($url);
if(preg_match_all('/((?:http|https)://(?:www.)*(?:[a-zA-Z0-9_-]{1,15}.+[a-zA-Z0-9_]{1,}){1,}(?:[a-zA-Z0-9_/.-?&:%,!;]*))/',$data,$urls12))
{
foreach($urls12[0] as $k=>$v){
$check=get_headers($v,1);
if(strstr($v,$url) && $check[0]=='HTTP/1.1 200 OK' && !array_search($v,$this->_urls) && $curr_depth<$this->_depth){
$this->_urls[]=$v;
$this->extract_links($v);
}
}
}
}
return $this->_urls;
}
}
?>總結：以上就是這篇文章的全部內容，希望能對大家的學習有所幫助。
相關推薦：
以上是php實作遞歸抓取網頁類別的方法的詳細內容。更多資訊請關注PHP中文網其他相關文章！
