Redis와 JavaScript를 사용하여 간단한 웹 크롤러 구축: 데이터를 빠르게 크롤링하는 방법

Redis 및 JavaScript를 사용하여 간단한 웹 크롤러 구축: 데이터를 빠르게 크롤링하는 방법

소개:
웹 크롤러는 인터넷에서 정보를 자동으로 가져오고 웹 페이지에 있는 데이터를 구문 분석할 수 있는 프로그램 도구입니다. 웹 크롤러를 사용하면 대량의 데이터를 신속하게 크롤링하여 데이터 분석 및 비즈니스 결정을 지원할 수 있습니다. 이 기사에서는 Redis와 JavaScript를 사용하여 간단한 웹 크롤러를 구축하는 방법을 소개하고 데이터를 빠르게 크롤링하는 방법을 보여줍니다.

1. 환경 준비
   시작하기 전에 다음 환경을 준비해야 합니다.
2. Redis: 크롤러의 작업 스케줄러 및 데이터 저장소로 사용됩니다.
3. Node.js: JavaScript 코드를 실행합니다.
4. Cheerio: HTML 페이지 구문 분석을 위한 라이브러리입니다.
5. 크롤러 아키텍처 설계
   저희 크롤러는 분산 아키텍처를 채택하고 작업 스케줄러와 크롤러 노드의 두 부분으로 나뉩니다.

• 작업 스케줄러: Redis 대기열에 크롤링할 URL을 추가하고 필요에 따라 중복 제거 및 우선 순위 설정을 수행합니다.
• 크롤러 노드: Redis 대기열에서 크롤링할 URL을 획득하고, 페이지를 구문 분석하고, 데이터를 추출하여 Redis에 저장하는 역할을 합니다.

3. 작업 스케줄러 코드 예시
   작업 스케줄러의 코드 예시는 다음과 같습니다.

const redis = require('redis'); const client = redis.createClient(); // 添加待抓取的URL到队列 const enqueueUrl = (url, priority = 0) => { client.zadd('urls', priority, url); } // 从队列中获取待抓取的URL const dequeueUrl = () => { return new Promise((resolve, reject) => { client.zrange('urls', 0, 0, (err, urls) => { if (err) reject(err); else resolve(urls[0]); }) }) } // 判断URL是否已经被抓取过 const isUrlVisited = (url) => { return new Promise((resolve, reject) => { client.sismember('visited_urls', url, (err, result) => { if (err) reject(err); else resolve(!!result); }) }) } // 将URL标记为已经被抓取过 const markUrlVisited = (url) => { client.sadd('visited_urls', url); }

위 코드에서는 Redis의 Ordered Set 및 Set 데이터 구조를 사용하며, Ordered Seturls는 크롤링할 URL을 저장하는 데 사용되며 visited_urls컬렉션은 크롤링된 URL을 저장하는 데 사용됩니다.urls用于存储待抓取的URL，集合visited_urls用于存储已经被抓取过的URL。

const request = require('request'); const cheerio = require('cheerio'); // 从指定的URL中解析数据 const parseData = (url) => { return new Promise((resolve, reject) => { request(url, (error, response, body) => { if (error) reject(error); else { const $ = cheerio.load(body); // 在这里对页面进行解析，并提取数据 // ... resolve(data); } }) }) } // 爬虫节点的主逻辑 const crawler = async () => { while (true) { const url = await dequeueUrl(); if (!url) break; if (await isUrlVisited(url)) continue; try { const data = await parseData(url); // 在这里将数据存储到Redis中 // ... markUrlVisited(url); } catch (error) { console.error(`Failed to parse data from ${url}`, error); } } } crawler();