웹 크롤링 작업에 PHP 및 phpSpider를 사용하는 방법은 무엇입니까?-PHP 튜토리얼-php.cn

웹 크롤링 작업에 PHP 및 phpSpider를 사용하는 방법은 무엇입니까?

PHPz

풀어 주다： 2023-07-22 08:30:02

원래의

841명이 탐색했습니다.

웹 크롤링 작업에 PHP 및 phpSpider를 사용하는 방법은 무엇입니까?

【소개】
오늘날의 정보 폭발 시대에 인터넷에는 엄청난 양의 귀중한 데이터가 있으며, 웹 크롤러는 웹 페이지에서 데이터를 자동으로 크롤링하고 추출하는 데 사용할 수 있는 강력한 도구입니다. 널리 사용되는 프로그래밍 언어인 PHP는 오픈 소스 도구인 phpSpider와 결합하여 웹 크롤러 기능을 빠르고 효율적으로 구현할 수 있습니다.

【구체적인 단계】

phpSpider 설치
먼저 phpSpider 도구를 설치해야 합니다. 작곡가를 통해 설치하고 터미널이나 명령 프롬프트를 열고 다음 명령을 실행할 수 있습니다.
```
composer require sunra/php-simple-html-dom-parser
```
로그인 후 복사

간단한 크롤러 만들기
다음으로 지정된 웹 페이지의 콘텐츠를 크롤링하는 간단한 크롤러를 만듭니다. 먼저 spider.php라는 파일을 만들고 파일에 다음 코드를 추가합니다.

<?php

require 'vendor/autoload.php';
use SunraPhpSimpleHtmlDomParser;

$url = 'https://www.example.com'; // 指定要爬取的网页URL

// 获取网页内容
$html = file_get_contents($url);

// 解析HTML
$dom = HtmlDomParser::str_get_html($html);

// 提取需要的数据
$title = $dom->find('title', 0)->plaintext; // 获取网页标题
echo "标题：" . $title . "
";

$links = $dom->find('a'); // 获取所有链接
foreach ($links as $link) {
    echo "链接：" . $link->href . "
";
}

?>

로그인 후 복사

스크립트를 실행하면 크롤링된 웹 페이지 제목과 모든 링크를 명령줄이나 터미널에서 볼 수 있습니다.

크롤링 규칙 지정
phpSpider는 고급 기능도 제공하므로 CSS 선택기 또는 XPath를 사용하여 크롤링할 콘텐츠를 지정할 수 있습니다. 예를 들어, 아래와 같이 지정된 CSS 클래스 이름이 "product"인 요소만 캡처하도록 위 코드를 수정할 수 있습니다.
```
<?php

// ...

// 提取需要的数据
$elements = $dom->find('.product'); // 获取所有CSS类名为"product"的元素
foreach ($elements as $element) {
    echo "产品名称：" . $element->plaintext . "
";
    echo "产品链接：" . $element->href . "
";
}

?>
```
로그인 후 복사
수정된 코드를 실행하여 CSS 클래스 이름이 "product"인 요소와 해당 링크만 출력합니다.
요청 헤더 설정
때때로 웹사이트는 요청 헤더의 내용을 기반으로 안티 크롤러 처리를 수행합니다. 요청을 보내는 브라우저를 더 잘 시뮬레이션하기 위해 요청 헤더를 설정할 수 있습니다. 아래와 같이
```
<?php

// ...

// 设置请求头
$options = [
    'http' => [
        'header' => "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36
"
    ]
];
$context = stream_context_create($options);

// 获取网页内容
$html = file_get_contents($url, false, $context);

// ...

?>
```
로그인 후 복사
수정된 코드를 실행하여 시뮬레이션된 브라우저의 요청 헤더를 사용하여 크롤링합니다.

【요약】
PHP와 오픈소스 도구인 phpSpider를 결합하여 웹 크롤러 기능을 쉽게 구현할 수 있습니다. 이 기사에서는 phpSpider를 설치하고, 간단한 크롤러를 만들고, 웹 페이지의 콘텐츠를 크롤링하는 방법을 소개했으며, CSS 선택기나 XPath를 사용하여 크롤링할 콘텐츠를 지정하는 방법과 요청 헤더를 브라우저 시뮬레이션으로 설정하는 방법도 소개했습니다. 요청. 이 기사가 웹 크롤링 작업을 위한 PHP 및 phpSpider를 이해하고 사용하는 데 도움이 되기를 바랍니다.

위 내용은 웹 크롤링 작업에 PHP 및 phpSpider를 사용하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!