Python 크롤링 기술의 IP 자동 프록시 예

최근 시험을 위해 인터넷에서 소프트 시험 문제를 크롤링할 계획인데 크롤링 중에 몇 가지 문제가 발생했습니다. 다음 기사에서는 주로 Python을 사용하여 소프트 시험 문제를 크롤링하는 방법과 IP 자동 프록시 관련 정보를 소개합니다. . 기사에 아주 자세하게 소개되어 있으니, 필요한 친구들은 아래에서 구경해 보세요.

서문

최근 소프트웨어 전문가 수준 시험이 있습니다. 이하 소프트 시험이라고 합니다. 시험이 끝나면 rkpass.cn에서 소프트 테스트 문제를 볼 계획입니다.

먼저 제가 소프트 시험 문제를 크롤링했던 사연(켁)을 말씀드리겠습니다. 이제 아래와 같이 특정 모듈의 모든 문제를 자동으로 캡처할 수 있습니다.

현재 정보 시스템 감독자의 시험 문제 기록 30개를 모두 캡처할 수 있습니다.

캡쳐된 콘텐츠 이미지 :

일부 정보는 캡쳐 가능하지만 화질은 캡쳐정보시스템 감독자를 예로 들면, 목표가 명확하고 매개변수도 명확하기 때문에, 어제는 시험지 정보를 캡쳐하기 위해 어떠한 예외 처리도 하지 않았습니다. 밤에 오랫동안 구멍을 메웠어요.

본론으로 돌아가서, 오늘 제가 이 블로그를 쓰는 이유는 새로운 함정에 직면했기 때문입니다. 기사 제목을 보면 요청이 너무 많아서 웹사이트의 크롤러 방지 메커니즘에 의해 IP가 차단되었음을 짐작할 수 있습니다.

산 사람이 소변으로 죽을 수는 없습니다. 우리 혁명가들의 업적은 사회주의의 계승자인 우리가 어려움에 굴하지 않고 산을 넘어 길을 개척할 수 없음을 말해줍니다. 강을 건너는 다리, IP 문제를 해결하기 위해 IP 프록시 아이디어가 나왔습니다.

웹 크롤러가 정보를 수집하는 과정에서 크롤링 빈도가 웹 사이트에서 설정한 임계값을 초과하면 접근이 금지됩니다. 일반적으로 웹사이트의 크롤러 방지 메커니즘은 IP를 기반으로 크롤러를 식별합니다.

따라서 크롤러 개발자는 일반적으로 이 문제를 해결하기 위해 두 가지 방법을 취해야 합니다.

1. 대상 웹사이트에 대한 압력. 그러나 이렇게 하면 단위 시간당 크롤링 양이 줄어듭니다.

2. 두 번째 방법은 크롤러 방지 메커니즘을 돌파하고 프록시 IP 설정 등을 통해 고주파 크롤링을 지속하는 것입니다. 그러나 이를 위해서는 여러 개의 안정적인 프록시 IP가 필요합니다.

말할 것도 없이 바로 코드로 넘어가겠습니다:

# IP地址取自国内髙匿代理IP网站：www.xicidaili.com/nn/
# 仅仅爬取首页IP地址就足够一般使用
from bs4 import BeautifulSoup
import requests
import random

#获取当前页面上的ip
def get_ip_list(url, headers):
 web_data = requests.get(url, headers=headers)
 soup = BeautifulSoup(web_data.text)
 ips = soup.find_all('tr')
 ip_list = []
 for i in range(1, len(ips)):
 ip_info = ips[i]
 tds = ip_info.find_all('td')
 ip_list.append(tds[1].text + ':' + tds[2].text)
 return ip_list

#从抓取到的Ip中随机获取一个ip
def get_random_ip(ip_list):
 proxy_list = []
 for ip in ip_list:
 proxy_list.append('http://' + ip)
 proxy_ip = random.choice(proxy_list)
 proxies = {'http': proxy_ip}
 return proxies

#国内高匿代理IP网主地址
url = 'http://www.xicidaili.com/nn/'
#请求头
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'}
#计数器，根据计数器来循环抓取所有页面的ip
num = 0
#创建一个数组，将捕捉到的ip存放到数组
ip_array = []
while num < 1537:
 num += 1
 ip_list = get_ip_list(url+str(num), headers=headers)
 ip_array.append(ip_list)
for ip in ip_array:
 print(ip)
#创建随机数，随机取到一个ip
# proxies = get_random_ip(ip_list)
# print(proxies)

실행 결과 스크린샷:

이런 식으로, 크롤러가 요청할 때 요청 IP를 자동 IP로 설정하면 크롤러 방지 메커니즘의 단순 차단 및 고정 IP를 효과적으로 피할 수 있습니다.

------------------------------- ------ ------------------ ------ -------------

웹사이트의 안정성을 위해서는 누구나 크롤러의 속도를 통제해야 하는데, 결국 웹마스터에게도 쉽지 않은 일입니다. 이 기사의 테스트에서는 17개의 IP 페이지만 캡처했습니다.

요약

위 내용은 Python 크롤링 기술의 IP 자동 프록시 예의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!