Python에서 프록시를 사용하는 방법-파이썬 튜토리얼-php.cn

How to Use Proxies in Python

Python을 조금 사용해 본 적이 있다면, 특히 데이터 스크래핑의 특별한 경우에 데이터를 검색하는 동안 차단되는 상황에 직면했을 것입니다. 원하다. 이러한 상황에서 프록시 사용 방법을 아는 것은 유용한 기술입니다.

이 기사에서는 프록시가 무엇인지, 왜 유용한지, Python의 라이브러리 요청을 사용하여 프록시를 사용하는 방법을 살펴보겠습니다.

프록시란 무엇입니까?

프록시가 무엇인지 정의부터 시작해 보겠습니다.

프록시 서버는 컴퓨터와 인터넷 사이의 "중개자"라고 생각할 수 있습니다. 웹사이트에 요청을 보내면 해당 요청은 먼저 프록시 서버를 통과합니다. 그런 다음 프록시는 귀하의 요청을 웹사이트에 전달하고 응답을 받은 후 다시 귀하에게 보냅니다. 이 프로세스는 IP 주소를 마스킹하여 요청이 자신의 장치가 아닌 프록시 서버에서 오는 것처럼 보이게 합니다.

이해할 수 있듯이 이는 많은 결과와 용도를 갖습니다. 예를 들어 성가신 IP 제한을 우회하거나 익명성을 유지하는 데 사용될 수 있습니다.

웹 스크래핑에 프록시를 사용하는 이유는 무엇입니까?

그렇다면 데이터를 스크랩하는 동안 프록시가 왜 도움이 될까요? 글쎄, 우리는 이미 이전에 이유를 제시했습니다. 예를 들어, 이를 사용하여 일부 제한 사항을 우회할 수 있습니다.

따라서 특정 웹 스크래핑의 경우 다음과 같은 이유로 유용할 수 있습니다.

IP 차단 방지: 웹사이트는 종종 단일 IP가 짧은 시간에 수많은 요청을 보내는 등 의심스러운 활동을 모니터링합니다. 프록시를 사용하면 요청이 차단되지 않고 여러 IP에 분산되는 데 도움이 됩니다.
지역 제한 우회: 일부 콘텐츠는 특정 위치에서만 액세스할 수 있으며 프록시를 사용하면 다른 국가에서 사이트에 액세스하는 것처럼 표시될 수 있습니다.
개인 정보 보호 강화: 프록시는 실제 IP 주소를 숨겨 스크래핑 활동을 익명으로 유지하는 데 유용합니다.

요청을 사용하여 Python에서 프록시를 사용하는 방법

요청 라이브러리는 Python에서 HTTP 요청을 수행하는 데 널리 사용되며 요청에 프록시를 통합하는 것은 간단합니다.

그 방법을 살펴보겠습니다!

유효한 프록시 얻기

먼저 중요한 것은 실제로 사용하기 전에 유효한 프록시를 얻어야 한다는 것입니다. 그렇게 하려면 두 가지 옵션이 있습니다:

무료 프록시: 무료 프록시 목록과 같은 웹사이트에서 무료로 프록시를 얻을 수 있습니다. 쉽게 액세스할 수 있지만 신뢰성이 낮거나 속도가 느릴 수 있습니다.
유료 프록시: Bright Data 또는 ScraperAPI와 같은 서비스는 더 나은 성능과 지원을 갖춘 안정적인 프록시를 제공하지만 비용을 지불해야 합니다.

요청에 프록시 사용

이제 프록시 목록이 준비되었으므로 프록시 사용을 시작할 수 있습니다. 예를 들어 다음과 같은 사전을 만들 수 있습니다.

proxies = {
    'http': 'http://proxy_ip:proxy_port',
    'https': 'https://proxy_ip:proxy_port',
}

로그인 후 복사

이제 프록시를 사용하여 요청할 수 있습니다.

import requests

proxies = {
    'http': 'http://your_proxy_ip:proxy_port',
    'https': 'https://your_proxy_ip:proxy_port',
}

response = requests.get('https://httpbin.org/ip', proxies=proxies)

로그인 후 복사

요청 결과를 보려면 응답을 인쇄하세요.

print(response.status_code)  # Should return 200 if successful
print(response.text)         # Prints the content of the response

로그인 후 복사

모든 것이 순조롭게 진행되면 응답에 사용자의 IP 주소가 아닌 프록시 서버의 IP 주소가 표시되어야 합니다.

요청을 사용한 프록시 인증: 사용자 이름 및 비밀번호

프록시에 인증이 필요한 경우 몇 가지 방법으로 처리할 수 있습니다.

방법 1: 프록시 URL에 자격 증명 포함
프록시에서 인증을 관리하기 위해 사용자 이름과 비밀번호를 포함하려면 다음을 수행하세요.

proxies = {
    'http': 'http://username:password@proxy_ip:proxy_port',
    'https': 'https://username:password@proxy_ip:proxy_port',
}

로그인 후 복사

방법 2: HTTPProxyAuth 사용
또는 HTTPProxyAuth 클래스를 사용하여 다음과 같이 인증을 처리할 수 있습니다.

from requests.auth import HTTPProxyAuth

proxies = {
    'http': 'http://proxy_ip:proxy_port',
    'https': 'https://proxy_ip:proxy_port',
}

auth = HTTPProxyAuth('username', 'password')

response = requests.get('https://httpbin.org/ip', proxies=proxies, auth=auth)

로그인 후 복사

요청에 회전 프록시를 사용하는 방법

요청이 많은 경우 단일 프록시를 사용하는 것만으로는 충분하지 않을 수 있습니다. 이 경우 순환 프록시를 사용할 수 있습니다. 이렇게 하면 정기적으로 또는 요청별로 프록시 IP 주소가 변경됩니다.

이 솔루션을 테스트하려면 목록을 사용하여 프록시를 수동으로 교체하거나 프록시 교체 서비스를 사용하는 두 가지 옵션이 있습니다.

두 가지 접근 방식을 모두 살펴보겠습니다!

프록시 목록 사용

프록시 목록이 있는 경우 다음과 같이 수동으로 교체할 수 있습니다.

import random

proxies_list = [
    'http://proxy1_ip:port',
    'http://proxy2_ip:port',
    'http://proxy3_ip:port',
    # Add more proxies as needed
]

def get_random_proxy():
    proxy = random.choice(proxies_list)
    return {
        'http': proxy,
        'https': proxy,
    }

for i in range(10):
    proxy = get_random_proxy()
    response = requests.get('https://httpbin.org/ip', proxies=proxy)
    print(response.text)

로그인 후 복사

프록시 순환 서비스 사용

ScraperAPI와 같은 서비스가 프록시 교체를 처리합니다. 일반적으로 제공하는 프록시 URL을 업데이트하고 다음과 같이 URL 사전을 관리하면 됩니다.

proxies = {
    'http': 'http://your_service_proxy_url',
    'https': 'https://your_service_proxy_url',
}

response = requests.get('https://httpbin.org/ip', proxies=proxies)

로그인 후 복사