Swoole Advanced: 웹 크롤러 개발을 위한 코루틴 사용

인터넷 기술의 지속적인 발전으로 인해 웹 크롤러는 오늘날 인터넷 애플리케이션에서 없어서는 안 될 부분이 되었습니다. 웹 크롤러는 데이터 수집, 비즈니스 탐색, 여론 모니터링 등의 다양한 애플리케이션 시나리오를 보유하고 있습니다. 그러나 기존 웹 크롤러는 일반적으로 다중 스레드 또는 다중 프로세스를 사용하여 동시 요청을 구현하며 컨텍스트 전환 오버헤드 및 과도한 메모리 사용과 같은 문제에 직면합니다. 최근 몇 년 동안 Swoole은 PHP 애플리케이션의 새로운 스타가 되었습니다. Swoole의 코루틴 기능은 웹 크롤러의 동시 요청에 대한 효율적인 솔루션을 제공할 수 있습니다.

이 글에서는 Swoole 코루틴을 사용하여 가볍고 효율적인 웹 크롤러를 구현하는 방법을 소개합니다.

Swoole 소개

Swoole은 PHP 언어 기반의 고성능 네트워크 통신 프레임워크로 코루틴을 지원한다는 점이 가장 큰 특징입니다. 코루틴은 사용자 모드의 경량 스레드입니다. 기존 스레드 및 프로세스와 비교할 때 코루틴은 컨텍스트 전환 오버헤드가 적고 메모리 사용량이 적으며 CPU 성능을 더 잘 활용할 수 있습니다.

Swoole을 사용하여 웹 크롤러 구현

Swoole의 코루틴 기능은 웹 크롤러 개발을 위한 매우 좋은 플랫폼을 제공합니다. 기존 웹 크롤러는 동시 요청을 할 때 많은 시스템 리소스를 소비하는 경우가 많지만 Swoole 코루틴을 사용하면 기존 스레드 전환으로 인한 오버헤드를 피하면서 높은 동시 요청을 쉽게 달성할 수 있습니다.

다음은 Swoole을 사용하여 구현된 웹 크롤러의 간단한 예입니다.

<?php
// 1. 创建Swoole HTTP服务器
$http = new SwooleHttpServer("0.0.0.0", 9501);

// 2. 处理请求
$http->on('request', function ($request, $response) {
    // 3. 发送HTTP请求
    $cli = new SwooleCoroutineHttpClient('www.baidu.com', 80);
    $cli->setHeaders([
        'Host' => "www.baidu.com",
        "User-Agent" => 'Chrome/49.0.2587.3',
        'Accept' => 'text/html,application/xhtml+xml,application/xml',
        'Accept-Encoding' => 'gzip',
    ]);
    $cli->get('/');

    // 4. 响应HTML内容
    $response->header("Content-Type", "text/html; charset=utf-8");
    $response->end($cli->body);
});

// 5. 启动HTTP服务器
$http->start();

위의 예 코드는 포트 번호 9501에서 수신 대기하는 Swoole HTTP 서버를 생성합니다. HTTP 요청이 도착하면 서버는 Baidu 웹사이트에 HTTP 요청을 보내고 HTML 콘텐츠로 응답합니다.

Swoole 코루틴 HTTP 클라이언트

Swoole은 코루틴 기반 HTTP 클라이언트를 제공합니다. 코루틴을 통해 단일 프로세스에서 여러 HTTP 요청을 동시에 시작할 수 있으며 여러 스레드나 프로세스를 시작하지 않고도 요청을 병렬로 실행할 수 있습니다.

코루틴 HTTP 클라이언트의 사용은 매우 간단합니다. 다음은 사용 예입니다.

<?php
// 1. 创建协程HTTP客户端
$cli = new SwooleCoroutineHttpClient('www.baidu.com', 80);

// 2. 配置请求头
$cli->setHeaders([
    'Host' => "www.baidu.com",
    "User-Agent" => 'Chrome/49.0.2587.3',
    'Accept' => 'text/html,application/xhtml+xml,application/xml',
    'Accept-Encoding' => 'gzip',
]);

// 3. 发送HTTP请求
$cli->get('/');

// 4. 输出响应内容
echo $cli->body;

위의 예제 코드는 코루틴 HTTP 클라이언트를 생성하고, 요청 헤더를 설정하고, HTTP 요청을 보내고, 응답 내용을 출력합니다.

코루틴을 사용하여 크롤러 크롤링 구현

Swoole 코루틴 HTTP 클라이언트를 사용하면 고성능 웹 크롤러를 쉽게 구현할 수 있습니다. 다음은 코루틴을 사용하여 구현한 크롤러의 예입니다.

<?php
// 1. 抓取百度搜索结果的页面
$html = file_get_contents('https://www.baidu.com/s?ie=UTF-8&wd=swoole');

// 2. 解析HTML，提取搜索结果列表的URL
preg_match_all('/<a.*?href="(.*?)".*?>/is', $html, $matches);
$urls = $matches[1];

// 3. 并发请求搜索结果列表的URL
$cli = new SwooleCoroutineHttpClient('www.baidu.com', 80);
foreach ($urls as $url) {
    $cli->setHeaders([
        'Host' => "www.baidu.com",
        "User-Agent" => 'Chrome/49.0.2587.3',
        'Accept' => 'text/html,application/xhtml+xml,application/xml',
        'Accept-Encoding' => 'gzip',
    ]);
    $cli->get($url);
    echo $cli->body;
}

// 4. 关闭HTTP客户端
$cli->close();

위의 예 코드는 먼저 Baidu가 "swoole" 키워드를 검색하는 페이지를 크롤링하고 HTML을 구문 분석하고 검색 결과 목록의 URL을 추출한 후 이러한 URL을 요청합니다. 동시에.

요약

고성능 네트워크 통신 프레임워크인 Swoole의 코루틴 기능은 웹 크롤러 개발을 위한 효율적인 솔루션을 제공합니다. Swoole 코루틴 HTTP 클라이언트를 사용하면 다중 스레드 또는 다중 프로세스로 인한 리소스 소비 및 컨텍스트 전환 오버헤드를 방지하면서 웹 크롤러의 동시 요청 기능을 크게 향상시킬 수 있습니다.

위 내용은 Swoole Advanced: 웹 크롤러 개발을 위한 코루틴 사용의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!