오늘날에는 Python, nodejs, Java, C# 및 PHP를 기반으로 하는 크롤러 프레임워크가 많이 있습니다. 그중 Python 기반 크롤러가 가장 인기가 있으며 일부는 이미 완벽하게 작동합니다. Octopus, Locomotive 및 기타 소프트웨어와 같은 소프트웨어 작동.
오늘 가장 먼저 시도하는 것은 PHP를 사용하여 크롤러 프로그램을 구현하는 것입니다. 먼저 크롤러 프레임워크를 사용하지 않고 연습하여 크롤러의 원리를 이해한 다음 PHP의 lib, 프레임워크 및 확장 기능을 사용하여 연습합니다.
크롤러 원리:
원본 URL 제공
분석 링크, 획득 설정된 정규 표현식에 따라 링크의 콘텐츠
일부는 원래 URL을 업데이트한 다음 링크를 분석하여 특정 콘텐츠를 얻으며 주기가 다시 시작됩니다.
얻은 내용을 데이터베이스(mysql) 또는 로컬 파일에 저장
다음은 인터넷에서 가져온 예입니다. 목록을 작성하고 분석해 보겠습니다.
From <code style="margin:0px;padding:2px 4px;max-width:100%;font-family:Consolas, Inconsolata, Courier, monospace;font-size:14px;color:rgb(199,37,78);white-space:nowrap;line-height:22px;background-color:rgb(249,242,244);"><span style="margin:0px;padding:0px;max-width:100%;font-size:15px;">main</span>main 함수 시작
<?php/** * 爬虫程序 -- 原型 * 从给定的url获取html内容 * @param string $url * @return string */function _getUrlContent($url) { $handle = fopen($url, "r");
if ($handle) {
$content = stream_get_contents($handle, -1);
//读取资源流到一个字符串,第二个参数需要读取的最大的字节数。默认是-1（读取全部的缓冲数据） // $content = file_get_contents($url, 1024 * 1024); return $content; } else {
return false; } } /** * 从html内容中筛选链接 * @param string $web_content * @return array */function _filterUrl($web_content) { $reg_tag_a = '/<[a|A].*?href=[\'\"]{0,1}([^>\'\"\ ]*).*?>/';
$result = preg_match_all($reg_tag_a, $web_content, $match_result);
if ($result) {
return $match_result[1]; } } /** * 修正相对路径 * @param string $base_url * @param array $url_list * @return array */function _reviseUrl($base_url, $url_list) { $url_info = parse_url($base_url);//解析url $base_url = $url_info["scheme"] . '://';
if ($url_info["user"] && $url_info["pass"]) {
$base_url .= $url_info["user"] . ":" . $url_info["pass"] . "@"; } $base_url .= $url_info["host"];
if ($url_info["port"]) {
$base_url .= ":" . $url_info["port"]; } $base_url .= $url_info["path"];
if (is_array($url_list)) {
foreach ($url_list as $url_item) {
if (preg_match('/^http/', $url_item)) {
// 已经是完整的url $result[] = $url_item; } else { // 不完整的url
$real_url = $base_url . '/' . $url_item;
$result[] = $real_url; } } return $result; } else {
return; } } /** * 爬虫 * @param string $url * @return array */function crawler($url) { $content = _getUrlContent($url);
if ($content) {
$url_list = _reviseUrl($url, _filterUrl($content));
if ($url_list) {
return $url_list; } else {
return ; } } else {
return ; } } /** * 测试用主程序 */function main() { $file_path = "url-01.txt";
$current_url = "http://www.baidu.com/"; //初始url if(file_exists($file_path)){ unlink($file_path); }
$fp_puts = fopen($file_path, "ab"); //记录url列表 $fp_gets = fopen($file_path, "r"); //保存url列表 do {
$result_url_arr = crawler($current_url);
if ($result_url_arr) {
foreach ($result_url_arr as $url) { fputs($fp_puts, $url . "\r\n"); } } }
while ($current_url = fgets($fp_gets, 1024)); //不断获得url} main();?>Curl은 비교적 성숙한 lib입니다. 예외 처리, http 헤더, POST 등에서 중요한 것은 MySQL을 작동하는 것입니다. 데이터베이스 작업을 위해 PHP를 사용합니다. 컬에 대한 구체적인 지침은 공식 PHP 문서를 확인할 수 있지만 멀티스레드 컬(Curl_multi) 측면에서는 더 까다롭습니다. php 폴더의 php.in (주석; hespt; just it it)에서 php.in (주석; 그냥 제거)에서 수정하십시오. php/ext 아래의 dll, libssh2.dll 및 php_curl 4개 파일은 windows/system32
crul 크롤러 사용 단계:
- cURL 함수 사용의 기본 아이디어는 컬_init( ) cURL 세션;- 세션이 끝나면 컬_close()를 사용하여 세션을 닫습니다.- 그런 다음 컬_setopt()를 통해 필요한 모든 옵션을 설정할 수 있습니다.
- 그런 다음 컬_exec()를 사용하여 세션을 실행합니다.
例子
$ch = cur_init("http://www.example.com/");
$fp = fopen("example_homepage.txt", "w");curl_setopt($ch, CURLOPT_FILE, $fp );curl_setopt( $ch, CURLOPT_HEADER, 0);curl_exec($ch);curl_close($ch);fclose($fp); ?>
一个完整点的例子：
<?php/** * 将demo1-01换成curl爬虫 * 爬虫程序 -- 原型 * 从给定的url获取html内容 * @param string $url * @return string */function _getUrlContent($url) { $ch=curl_init(); //初始化一个cURL会话 /*curl_setopt 设置一个cURL传输选项*/ //设置需要获取的 URL 地址 curl_setopt($ch,CURLOPT_URL,$url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch,CURLOPT_HEADER,1); // 设置浏览器的特定header curl_setopt($ch, CURLOPT_HTTPHEADER,
array(
"Host: www.baidu.com",
"Connection: keep-alive",
"Accept: text/html,
application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"Upgrade-Insecure-Requests: 1",
"DNT:1",
"Accept-Language: zh-CN,zh;q=0.8,en-GB;q=0.6,en;q=0.4,en-US;q=0.2",
));
$result=curl_exec($ch);//执行一个cURL会话 $code=curl_getinfo($ch,CURLINFO_HTTP_CODE);// 最后一个收到的HTTP代码 if($code!='404' && $result){
return $result; } curl_close($ch);//关闭cURL} /** * 从html内容中筛选链接 * @param string $web_content * @return array */function _filterUrl($web_content) { $reg_tag_a = '/<[a|A].*?href=[\'\"]{0,1}([^>\'\"\ ]*).*?>/';
$result = preg_match_all($reg_tag_a, $web_content, $match_result);
if ($result) {
return $match_result[1]; } } /** * 修正相对路径 * @param string $base_url * @param array $url_list * @return array */function _reviseUrl($base_url, $url_list) { $url_info = parse_url($base_url);//解析url $base_url = $url_info["scheme"] . '://';
if ($url_info["user"] && $url_info["pass"]) {
$base_url .= $url_info["user"] . ":" . $url_info["pass"] . "@"; } $base_url .= $url_info["host"];
if ($url_info["port"]) {
$base_url .= ":" . $url_info["port"]; } $base_url .= $url_info["path"];
if (is_array($url_list)) {
foreach ($url_list as $url_item) {
if (preg_match('/^http/', $url_item)) {
// 已经是完整的url $result[] = $url_item; } else {
// 不完整的url $real_url = $base_url . '/' . $url_item;
$result[] = $real_url; } } return $result; } else {
return; } } /** * 爬虫 * @param string $url * @return array */function crawler($url) { $content = _getUrlContent($url);
if ($content) {
$url_list = _reviseUrl($url, _filterUrl($content));
if ($url_list) {
return $url_list; } else {
return ; } } else {
return ; } } /** * 测试用主程序 */function main() { $file_path = "./url-03.txt";
if(file_exists($file_path)){ unlink($file_path); } $current_url = "http://www.baidu.com"; //初始url //记录url列表 ab- 追加打开一个二进制文件，并在文件末尾写数据 $fp_puts = fopen($file_path, "ab"); //保存url列表 r-只读方式打开，将文件指针指向文件头 $fp_gets = fopen($file_path, "r"); do {
$result_url_arr = crawler($current_url);
echo "<p>$current_url</p>";
if ($result_url_arr) {
foreach ($result_url_arr as $url) { fputs($fp_puts, $url . "\r\n"); } } } while ($current_url = fgets($fp_gets, 1024)); //不断获得url} main();?>要对https支持，需要在_getUrlContent函数中加入下面的设置：
curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_BASIC ) ; curl_setopt($ch, CURLOPT_USERPWD, "username:password"); curl_setopt($ch, CURLOPT_SSLVERSION,3); curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE); curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 2);
结果疑惑：
我们通过1和2部分得到的结果差异很大，第1部分能得到四千多条url数据，而第2部分却一直是45条数据。
还有我们获得url数据可能会有重复的，这部分处理在我的github上，对应demo2-01.php，或者demo2-02.php
stream_get_contents — 读取资源流到一个字符串
与 [file_get_contents()]一样，但是 stream_get_contents() 是对一个已经打开的资源流进行操作，并将其内容写入一个字符串返回
$handle = fopen($url, "r");
$content = stream_get_contents( $핸들, - 1);
//리소스 스트림을 문자열로 읽습니다. 두 번째 매개변수는 읽을 최대 바이트 수입니다. 기본값은 -1입니다(버퍼링된 모든 데이터 읽기)
file_get_contents — 将整个文件读入一个字符串
<code style="margin:0px;padding:0px;max-width:100%;font-family:Consolas, Inconsolata, Courier, monospace;white-space:pre;"><span style="color:#4f4f4f;margin:0px;padding:0px;max-width:100%;">$content</span> = file_get_contents(<span style="color:#4f4f4f;margin:0px;padding:0px;max-width:100%;">$url</span>, <span style="margin:0px;padding:0px;max-width:100%;">1024</span> * <span style="margin:0px;padding:0px;max-width:100%;">1024</span>);<br/><span style="font-family:'PingFang SC', 'Microsoft YaHei', SimHei, Arial, SimSun;color:#999999;margin:0px;padding:0px;max-width:100%;text-align:justify;background-color:rgb(238,240,244);">【注】 如果要打开有特殊字符的 URL （比如说有空格），就需要使用进行 URL 编码。</span></code>
- fopen /file_get_contents 每次请求都会重新做DNS查询，并不对 DNS信息进行缓存。但是CURL会自动对DNS信息进行缓存。对同一域名下的网页或者图片的请求只需要一次DNS查询。这大大减少了DNS查询的次数。所以CURL的性能比fopen /file_get_contents 好很多。
fopen /file_get_contents 在请求HTTP时，使用的是http_fopen_wrapper，不会keeplive。而curl却可以。这样在多次请求多个链接时，curl效率会好一些。
fopen / file_get_contents 函数会受到php.ini文件中allow_url_open选项配置的影响。如果该配置关闭了，则该函数也就失效了。而curl不受该配置的影响。
curl 可以模拟多种请求，例如：POST数据，表单提交等，用户可以按照自己的需求来定制请求。而fopen / file_get_contents只能使用get方式获取数据
相关推荐：
위 내용은 PHP 크롤러 기술 지식 요약의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
