Heim > Backend-Entwicklung > PHP-Tutorial > php实现递归抓取网页类实例_PHP

php实现递归抓取网页类实例_PHP

WBOY
Freigeben: 2016-05-30 14:59:19
Original
1018 Leute haben es durchsucht

本文实例讲述了php实现递归抓取网页类的方法。分享给大家供大家参考。具体如下:

<&#63;php
class crawler{
 private $_depth=5;
 private $_urls=array();
 function extract_links($url)
 {
  if(!$this->_started){
   $this->_started=1;
   $curr_depth=0;
  }else{
   $curr_depth++;
  }
  if($curr_depth<$this->_depth)
  {
   $data=file_get_contents($url);
   if(preg_match_all('/((&#63;:http|https)://(&#63;:www.)*(&#63;:[a-zA-Z0-9_-]{1,15}.+[a-zA-Z0-9_]{1,}){1,}(&#63;:[a-zA-Z0-9_/.-&#63;&:%,!;]*))/',$data,$urls12))
   {
    foreach($urls12[0] as $k=>$v){
     $check=get_headers($v,1);
     if(strstr($v,$url) && $check[0]=='HTTP/1.1 200 OK' && !array_search($v,$this->_urls) && $curr_depth<$this->_depth){
      $this->_urls[]=$v;
      $this->extract_links($v);
     }
    }
   }
  }
  return $this->_urls;
 }
}
&#63;>
Nach dem Login kopieren

希望本文所述对大家的php程序设计有所帮助。

Verwandte Etiketten:
Quelle:php.cn
Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage