웹 스크래핑은 웹사이트에서 데이터를 수집하는 매우 강력한 도구입니다. Google의 Node.js용 헤드리스 브라우저 라이브러리인 Puppeteer를 사용하면 사람의 탐색 동작을 모방하면서 페이지 탐색, 버튼 클릭, 정보 추출 프로세스를 자동화할 수 있습니다. 이 가이드는 Puppeteer를 사용한 웹 스크래핑의 필수 사항을 간단하고 명확하며 실행 가능한 방법으로 안내합니다.
Puppeteer는 Google Chrome(또는 Chromium)의 헤드리스 버전을 제어할 수 있는 Node.js 라이브러리입니다. 헤드리스 브라우저는 그래픽 사용자 인터페이스(GUI) 없이 실행되므로 스크래핑과 같은 자동화 작업에 더 빠르고 완벽합니다. 그러나 Puppeteer는 시각적으로 무슨 일이 일어나고 있는지 확인해야 하는 경우 전체 브라우저 모드에서 실행할 수도 있습니다.
유연성: Puppeteer는 동적 웹사이트와 단일 페이지 애플리케이션(SPA)을 쉽게 처리합니다.
JavaScript 지원: 최신 웹 앱을 스크래핑하는 데 필수적인 페이지에서 JavaScript를 실행합니다.
자동화 능력: 양식 작성, 버튼 클릭, 스크린샷 찍기 등의 작업을 수행할 수 있습니다.
웹사이트를 스크랩할 때 IP 금지를 피하고 지리적으로 제한된 콘텐츠에 액세스하려면 프록시가 필수적입니다. 프록시는 스크레이퍼와 대상 웹사이트 사이의 중개자 역할을 하여 실제 IP 주소를 마스킹합니다. Puppeteer의 경우 프록시를 실행 인수로 전달하여 쉽게 통합할 수 있습니다.
자바스크립트
코드 복사
const 브라우저 = puppeteer.launch({
를 기다립니다.
인수: ['--proxy-server=your-proxy-server:port']
});
프록시는 스크래핑 노력을 확장하는 데 특히 유용합니다. 순환 프록시는 각 요청이 다른 IP에서 오는지 확인하여 탐지 가능성을 줄입니다. 신뢰성으로 유명한 주거용 프록시는 봇 방어를 우회하는 데 탁월한 반면, 데이터 센터 프록시는 더 빠르고 저렴합니다. 귀하의 스크래핑 요구 사항에 맞는 유형을 선택하고 항상 성능을 테스트하여 신뢰성을 보장하세요.
스크래핑을 시작하기 전에 Puppeteer를 설정해야 합니다. 단계별 프로세스를 살펴보겠습니다.
1단계: Node.js 및 Puppeteer 설치
Node.js 설치: 공식 홈페이지에서 Node.js를 다운로드하여 설치하세요.
Puppeteer 설정: 터미널을 열고 다음 명령을 실행하십시오.
배쉬
코드 복사
npm 설치 인형극
이렇게 하면 제어하는 브라우저인 Puppeteer와 Chromium이 설치됩니다.
2단계: 첫 인형극 스크립트 작성
새로운 JavaScript 파일인 scraper.js를 만듭니다. 여기에는 스크래핑 논리가 저장됩니다. 웹페이지를 열고 제목을 추출하는 간단한 스크립트를 작성해 보겠습니다.
자바스크립트
코드 복사
const puppeteer = require('puppeteer');
(비동기 () => {
const 브라우저 = puppeteer.launch()를 기다립니다;
const 페이지 = browser.newPage()를 기다립니다;
// 웹사이트로 이동
page.goto('https://example.com')을 기다립니다.
//제목 추출
const title = 페이지를 기다립니다.제목();
console.log(페이지 제목: ${title});
browser.close()를 기다립니다.
})();
다음을 사용하여 스크립트를 실행하세요.
배쉬
코드 복사
노드 scraper.js
첫 번째 Puppeteer 스크레이퍼를 작성하셨습니다!
이제 기본 사항을 익혔으므로 스크래핑에 사용할 몇 가지 주요 Puppeteer 기능을 살펴보겠습니다.
페이지 탐색
page.goto(url) 메소드를 사용하면 모든 URL을 열 수 있습니다. 필요한 경우 시간 초과 설정과 같은 옵션을 추가하세요.
자바스크립트
코드 복사
wait page.goto('https://example.com', { timeout: 60000 });
요소 선택
CSS 선택기를 사용하여 페이지의 요소를 찾아보세요. Puppeteer는 다음과 같은 방법을 제공합니다.
첫 번째 일치를 위한 page.$(selector)
모든 일치 항목에 대한 page.$$(selector)
예:
자바스크립트
코드 복사
const 요소 = 페이지를 기다립니다.$('h1');
const text = 페이지를 기다립니다.evaluate(el => el.textContent, element);
console.log(제목: ${text});
요소와의 상호작용
클릭, 입력 등의 사용자 상호 작용을 시뮬레이션합니다.
자바스크립트
코드 복사
페이지를 기다립니다.click('#submit-button');
wait page.type('#search-box', 'Puppeteer scraping');
요소를 기다리는 중
웹페이지는 다양한 속도로 로드됩니다. Puppeteer를 사용하면 진행하기 전에 요소를 기다릴 수 있습니다.
자바스크립트
코드 복사
페이지를 기다립니다.waitForSelector('#dynamic-content');
스크린샷 찍기
시각적인 디버깅이나 데이터를 이미지로 저장하는 것은 쉽습니다.
자바스크립트
코드 복사
wait page.screenshot({ 경로: 'screenshot.png', fullPage: true });
오늘날 많은 웹사이트에서는 JavaScript를 사용하여 콘텐츠를 동적으로 로드합니다. Puppeteer는 JavaScript를 실행하여 페이지 소스에 표시되지 않을 수 있는 콘텐츠를 스크랩할 수 있다는 점에서 빛을 발합니다.
예: 동적 데이터 추출
자바스크립트
코드 복사
page.goto('https://news.ycombinator.com')을 기다립니다;
페이지를 기다립니다.waitForSelector('.storylink');
const headlines = 페이지를 기다립니다.$$eval('.storylink',links =>links.map(link=>link.textContent));
console.log('Headlines:', headlines);
일부 웹사이트에는 봇을 차단하는 조치가 마련되어 있습니다. Puppeteer는 간단한 확인을 우회하는 데 도움을 줄 수 있습니다.
스텔스 모드 사용: puppeteer-extra 플러그인 설치:
배쉬
코드 복사
npm install puppeteer-extra puppeteer-extra-plugin-stealth
스크립트에 추가하세요:
자바스크립트
코드 복사
const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());
인간 행동 모방: 마우스 움직임, 타이핑 속도 등의 동작을 무작위로 지정하여 더욱 인간적으로 보이도록 합니다.
사용자 에이전트 교체: 요청이 있을 때마다 브라우저의 사용자 에이전트를 변경하세요.
자바스크립트
코드 복사
wait page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64)');
데이터를 추출한 후에는 저장하고 싶을 것입니다. 다음은 몇 가지 일반적인 형식입니다.
JSON:
자바스크립트
코드 복사
const fs = require('fs');
const data = { 이름: 'Puppeteer', 유형: 'library' };
fs.writeFileSync('data.json', JSON.stringify(data, null, 2));
CSV: csv-writer와 같은 라이브러리 사용:
배쉬
코드 복사
npm csv-writer 설치
자바스크립트
코드 복사
const createCsvWriter = require('csv-writer').createObjectCsvWriter;
const csvWriter = createCsvWriter({
경로: 'data.csv',
헤더: [
{ id: '이름', title: '이름' },
{ id: '유형', 제목: '유형' }
]
});
const records = [{ 이름: 'Puppeteer', 유형: 'library' }];
csvWriter.writeRecords(records).then(() => console.log('CSV 파일이 작성되었습니다.'));
윤리적인 웹 스크래핑 관행
웹사이트를 스크랩하기 전에 다음 윤리적 지침을 염두에 두십시오.
서비스 약관을 확인하세요. 웹사이트에서 스크래핑을 허용하는지 항상 확인하세요.
비율 제한 준수: 짧은 시간에 너무 많은 요청을 보내지 마십시오. setTimeout 또는 Puppeteer의 page.waitForTimeout()을 사용하여 요청 간격을 확보하세요.
자바스크립트
코드 복사
페이지를 기다립니다.waitForTimeout(2000); // 2초간 대기
민감한 데이터 방지: 개인 정보나 사적인 정보를 절대 스크랩하지 마세요.
페이지가 제대로 로드되지 않습니다. 시간 제한을 더 길게 추가하거나 전체 브라우저 모드를 활성화해 보세요.
자바스크립트
코드 복사
const 브라우저 = puppeteer.launch({ headless: false });
선택기가 작동하지 않음: 브라우저 개발자 도구(Ctrl Shift C)를 사용하여 웹사이트를 검사하여 선택기를 확인하세요.
CAPTCHA에 의해 차단됨: 스텔스 플러그인을 사용하여 인간의 행동을 모방합니다.
위 내용은 Puppeteer로 웹 스크랩하는 방법: 초보자에게 친숙한 가이드의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
