PHP 데이터 수집 클래스 Snoopy 사용

PHP 컬렉션 스누피에 대한 자세한 설명
PHP 컬렉션 도구 스누피 애플리케이션에 대한 자세한 설명
스누피는 브라우저의 기능을 시뮬레이션하고 웹 콘텐츠를 가져오고 양식을 보낼 수 있는 PHP 클래스입니다. 스누피가 올바르게 작동하려면 서버의 PHP 버전이 4 이상이어야 하며 기본 LAMP 서비스에서 지원되는 PCRE(Perl Compatible Regular Expressions)를 지원해야 합니다.
1. 스누피의 일부 기능:
1. 웹페이지의 콘텐츠 가져오기
2. 웹페이지의 텍스트 콘텐츠 가져오기(HTML 태그 제거) fetchtext
3. 링크 가져오기 및 웹페이지 fetchlinks fetchform 형식
4. 프록시 호스트 지원
5. 기본 사용자 이름/비밀번호 확인 지원
6. user_agent, 리퍼러(소스), 쿠키 및 헤더 콘텐츠(헤더 파일) 설정 지원
7 .브라우저 리디렉션 지원 및 리디렉션 깊이 제어 가능
8. 웹 페이지의 링크를 고품질 URL로 확장 가능(기본값)
9. 데이터 제출 및 반환 값 얻기 ​​
10. 지원 추적 HTML 프레임워크
11. 리디렉션 시 쿠키 전달을 지원합니다. PHP4 이상이 필요하며, 서버가 컬을 지원하지 않는 경우 지원을 확장할 필요가 없습니다.
2. 클래스 메소드:
fetch($URI)
————–
웹페이지의 내용을 캡처하는 데 사용되는 메소드입니다. $URI 매개변수는 크롤링된 웹페이지의 URL 주소입니다. 가져온 결과는 $this->results에 저장됩니다. 프레임을 스크랩하는 경우 스누피는 각 프레임을 추적하여 배열에 저장한 다음 $this->results에 저장합니다.
fetchtext($URI)
——————
이 메서드는 fetch()와 유사하지만 유일한 차이점은 이 메서드가 HTML 태그 및 기타 관련 없는 데이터를 제거하고 텍스트 내용만 반환한다는 것입니다. 웹페이지에서.
fetchform($URI)
——————
이 메서드는 fetch()와 유사하지만 유일한 차이점은 이 메서드가 HTML 태그 및 기타 관련 없는 데이터를 제거하고 형식만 반환한다는 것입니다. 웹페이지의 콘텐츠(양식)입니다.
fetchlinks($URI)
————-
이 메서드는 fetch()와 유사하지만 유일한 차이점은 이 메서드가 HTML 태그 및 기타 관련 없는 데이터를 제거하고 다음의 링크만 반환한다는 것입니다. 웹페이지(링크).
기본적으로 상대 링크는 자동으로 완성되어 전체 URL로 변환됩니다.
submit($URI,$formvars)
————————-
이 메소드는 $URL에 지정된 링크 주소로 확인 양식을 보냅니다. $formvars는 양식 매개변수를 저장하는 배열입니다.
submittext($URI,$formvars)
————————–
이 메서드는 submit()과 유사하지만 유일한 차이점은 이 메서드가 HTML 태그 및 기타 관련 없는 데이터를 제거한다는 것입니다. . 로그인 후 웹페이지의 텍스트 내용만 반환됩니다.
submitlinks($URI)
————-
이 메소드는 submit()과 유사하지만 유일한 차이점은 이 메소드가 HTML 태그 및 기타 관련 없는 데이터를 제거하고 다음의 링크만 반환한다는 것입니다. 웹페이지(링크).
기본적으로 상대 링크는 자동으로 완성되어 완전한 URL로 변환됩니다.
3. 클래스 속성: (기본값은 대괄호 안에 있음)
$host 연결된 호스트
$port 연결된 포트
$proxy_host 사용된 프록시 호스트(있는 경우)
$ Proxy_port 프록시 사용된 호스트 포트(있는 경우)
$agent 사용자 에이전트 위장(Snoopy v0.1)
$referer 소스 정보(있는 경우)
$cookies 쿠키(있는 경우)
$rawheaders 기타 헤더 정보(있는 경우)
$maxredirs 최대 리디렉션 수, 0=허용되지 않음(5)
$offsiteok 오프사이트 리디렉션을 허용할지 여부(true)
$expandlinks 전체 주소에 대한 모든 링크를 완료할지 여부(true) )
$user 인증 사용자 이름(사용 가능한 경우)
$pass 인증 사용자 이름(사용 가능한 경우)
$accept http 허용 유형( image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */ *)
$error 오류를 보고할 위치(있는 경우)
$response_code 서버에서 반환된 응답 코드
$headers 서버에서 반환된 헤더 정보
$maxlength 반환된 가장 긴 데이터 길이
$read_timeout 읽기 작업 시간 초과(PHP 4 Beta 4+ 필요)
시간 초과가 없는 경우 0으로 설정
$timed_out 한 번 읽으면 가져오기 작업 시간이 초과되면 이 속성은 true를 반환합니다(PHP 4 Beta 4+ 필요).
$maxframes 추적이 허용되는 최대 프레임 수
$status 캡처된 http 상태
$temp_dir 웹 서버가 쓸 수 있는 임시 파일 디렉터리(/tmp)
$curl_path cURL 바이너리 디렉터리 , cURL 바이너리가 없으면 false로 설정하세요.
4. 다음은 데모입니다.
include "Snoopy.class.php"
$snoopy = new Snoopy-> ;proxy_host = "www.baidu.com";
$snoopy->proxy_port = "8080";
$snoopy->agent = "(호환; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98 )";
$snoopy->referer = "http://www.baidu.com/";
$snoopy->cookies["SessionID" ] = 238472834723489l;
$snoopy->cookies["favoriteColor"] = "빨간색"; 
$snoopy->rawheaders["Pragma"] = "캐시 없음"; 
$snoopy->maxredirs = 2; 
$snoopy->offsiteok = false; 
$snoopy->expandlinks = false; 
$snoopy->user = "조"; 
$snoopy->pass = "블로이"; 
if($snoopy->fetchtext("http://www.baidu.com")) 
{ 
echo "

".htmlspecialchars($snoopy->results). "

n";
 
}
 
다른
 
echo "문서를 가져오는 동안 오류가 발생했습니다: ".$snoopy->error."n"; 
snoopy采集phpchina示例 
//采集phpchina 
set_time_limit(0); 
require_once("Snoopy.class.php"); 
$snoopy=새 스누피(); 
//登陆论坛 
$submit_url = "http://www.phpchina.com/bbs/logging.php?action=login"; 
$submit_vars["loginmode"] = "정상"; 
$submit_vars["styleid"] = "1"; 
$submit_vars["cookietime"] = "315360000"; 
$submit_vars["loginfield"] = "사용자 이름"; 
$submit_vars["username"] = "***"; //사용목적 이름 
$submit_vars["password"] = "*****"; //你的密码 
$submit_vars["questionid"] = "0"; 
$submit_vars["답변"] = ""; 
$submit_vars["loginsubmit"] = "로그인"; 
$snoopy->submit($submit_url,$submit_vars); 
if ($snoopy->results) 
{ 
//获取连接地址 
$snoopy->fetchlinks("http://www.phpchina.com/bbs"); 
$url=배열(); 
$url=$snoopy->결과; 
//print_r($url); 
foreach($url as $key=>$value) 
{ 
//匹配http://www.phpchina.com/bbs/forumdisplay.php?fid=156&sid=VfcqTR地址即论坛板块地址 
if (!preg_match("/^(http://www.phpchina.com/bbs/forumdisplay.php?fid=)[0-9]*&sid=[a-zA-Z]{6 }/i",$value)) 
{ 
unset($url[$key]); 
} 
} 
//print_r($url); 
//获取到板块数组$url，循环访问，此处获取第一个模块第一页的数据 
$i=0; 
foreach($url as $key=>$value) 
{ 
if ($i>=1) 
{ 
//测试限system 
break; 
} 
그밖에는 
{ 
//访问该模块，提取帖子的连接地址，正式访问里需要提取帖子分页的数据，然厥根据分页数据提取帖子数据 
$snoopy= 새로운 스누피(); 
$snoopy->fetchlinks($value); 
$tie=배열(); 
$tie[$i]=$snoopy->결과; 
//print_r($tie); 
//转换数组 
foreach($tie[$i] as $key=>$value) 
{ 
//匹配http://www.phpchina.com/bbs/viewthread .php?tid=68127& extra=page%3D1&page=1&sid=iBLZfK 
if (!preg_match("/^(http://www.phpchina.com/bbs/viewthread.php?tid=)[0-9]*& extra=page%3D1&page=[0-9]*&sid=[a-zA-Z]{6}/i",$value)) 
{ 
unset($tie[$i][ $키]); 
} 
} 
//print_r($tie[$i]); 
//归类数组，将同一个帖子는 서로 다릅니다.
$left='';//连接左边公용지址 
$j=0; 
$page=배열(); 
foreach($tie[$i] as $key=>$value) 
{ 
$left=substr($value,0,52); 
$m=0; 
foreach($tie[$i] as $pkey=>$pvalue) 
{ 
//重组数组 
if (substr($pvalue,0,52)==$left)
{ 
$페이지[$j][$m]=$pvalue; 
$m++; 
} 
} 
$j++; 
} 
//去除重复项开始 
//$page=array_unique($page);只能用于一维数组 
$paget[0]=$page[0]; 
$nums=count($page); 
($n=1;$n <$nums;$n++) 
{ 
$paget[$n]=array_diff($page[$n],$page[$n-1 ]); 
} 
//去除多维数组重复值结束 
//去除数组空值 
unset($page); 
$page=array();//새롭게 페이지 정리 
$page=array_filter($paget); 
//print_r($page); 
$u=0; 
$title=배열(); 
$content=배열(); 
$temp=''; 
$tt=배열(); 
foreach($page as $key=>$value) 
{ 
//外围循环，针对一个帖子 
if (is_array($value)) 
{ 
foreach ($value as $k1=>$v1) 
{ 
//页内循环，针对一个帖子的N页 
$스누피=새 스누피(); 
$snoopy->fetch($v1); 
$temp=$snoopy->결과; 
//读取标题 
if (!preg_match_all("/

(.*)

/i",$temp,$tt)) 
{ 
echo "제목 없음"; 
퇴장; 
} 
그밖에 
{ 
$title[$u]=$tt[1][1]; 
} 
설정 해제($tt); 
//读取内容 
if (!preg_match_all("/