PHP 간단한 웹 크롤러 개발 예제

인터넷의 급속한 발전과 함께 데이터는 오늘날 정보화 시대의 가장 중요한 자원 중 하나가 되었습니다. 웹 크롤러는 네트워크 데이터를 자동으로 획득하고 처리하는 기술로 점점 더 많은 관심과 활용을 불러일으키고 있습니다. 이 기사에서는 PHP를 사용하여 간단한 웹 크롤러를 개발하고 네트워크 데이터를 자동으로 가져오는 기능을 구현하는 방법을 소개합니다.

1. 웹 크롤러 개요

웹 크롤러의 주요 작업 프로세스는 브라우저 동작을 시뮬레이션하고 지정된 URL 주소에 자동으로 액세스하여 필요한 데이터를 추출하는 것입니다. 일반적으로 웹 크롤러는 다음 단계로 나눌 수 있습니다.

1. 크롤링할 대상 URL을 정의합니다.
2. 웹 페이지 소스 코드를 얻기 위해 HTTP 요청을 보냅니다.
3. 웹 페이지 소스 코드를 구문 분석하고 추출합니다. 필수 데이터
4. 데이터를 저장하고 다음 URL을 계속 크롤링하세요.

2. PHP 개발 환경 준비

웹 크롤러 개발을 시작하기 전에 PHP 개발 환경을 준비해야 합니다. 구체적인 작업은 다음과 같습니다:

1. 공식 웹사이트(https://www.php.net/) 또는 기타 미러 웹사이트에서 다운로드할 수 있는 PHP를 다운로드하여 설치합니다.
2. Apache와 같은 웹 서버를 설치합니다. , Nginx 등
3. 구성 PHP가 명령줄에서 실행될 수 있도록 하는 PHP용 환경 변수입니다.

3. 웹 크롤러 작성

다음으로 웹 크롤러 작성을 시작하겠습니다. Baidu 검색 결과 페이지의 제목과 URL을 크롤링하여 CSV 파일에 작성한다고 가정합니다. 구체적인 코드는 다음과 같습니다.

<?php
// 定义爬取的目标 URL
$url = 'https://www.baidu.com/s?wd=php';

// 发送 HTTP 请求获取网页源代码
$html = file_get_contents($url);

// 解析网页源代码，提取所需数据
$doc = new DOMDocument();
@$doc->loadHTML($html);
$xpath = new DOMXPath($doc);
$nodes = $xpath->query('//h3[@class="t"]/a');

// 存储数据，并继续爬取下一个 URL
$fp = fopen('result.csv', 'w');
foreach ($nodes as $node) {
  $title = $node->nodeValue;
  $link = $node->getAttribute('href');
  fputcsv($fp, [$title, $link]);
}
fclose($fp);
?>

위 코드는 먼저 크롤링할 대상 URL을 정의한 다음 file_get_contents() 함수는 웹페이지의 소스 코드를 얻기 위해 HTTP 요청을 보냅니다. 다음으로 DOMDocument 클래스와 DOMXPath 클래스를 사용하여 웹페이지 소스 코드를 구문 분석하고 필요한 데이터를 추출합니다. 마지막으로 fputcsv() 함수를 사용하여 데이터를 CSV 파일에 씁니다. file_get_contents() 函数发送 HTTP 请求，获取网页源代码。接着，使用 DOMDocument 类和 DOMXPath 类解析网页源代码，提取我们所需要的数据。最后，使用 fputcsv() 函数将数据写入到一个 CSV 文件中。

四、运行网络爬虫

完成代码编写后，我们可以在命令行中运行该脚本，即可自动化获取百度搜索结果页面中的标题和 URL，并将其写入到一个 CSV 文件中。具体操作如下：

1. 打开命令行窗口；
2. 进入脚本所在的目录；
3. 运行脚本，命令为 php spider.php
4. 웹 크롤러 실행
4. 코드 작성을 완료한 후 명령줄에서 스크립트를 실행하면 Baidu 검색 결과 페이지의 제목과 URL을 자동으로 가져와 CSV 파일에 쓸 수 있습니다. 구체적인 작업은 다음과 같습니다.

위 내용은 PHP 간단한 웹 크롤러 개발 예제의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!