로그인 예제와 함께 파이썬 웹 스크래핑

requests.session ()을 사용하여 게시물 요청을 보내고 세션을 유지하여 웹 사이트에 로그인합니다. 2. BeautifulSoup을 사용하여 로그인 페이지를 구문 분석하여 CSRF 토큰과 같은 숨겨진 필드를 얻습니다. 3. 사용자 이름, 비밀번호 및 토큰이 포함 된 로그인 데이터를 구성하고 제출하십시오. 4. 로그인이 성공했는지 확인하고 응답 내용에서 "로그 아웃"또는 "대시 보드"를 확인하십시오. 5. 성공적인 로그인 후 동일한 세션을 사용하여 보호 된 페이지에 액세스하고 필요한 콘텐츠를 가져옵니다. 6. JavaScript로 동적으로 렌더링 된 페이지의 경우 셀레늄을 사용하여 브라우저 작업을 시뮬레이션해야합니다. 7. 항상 웹 사이트 robots.txt 및 웹 사이트 사용 약관을 준수하고, 생산 환경에서 하드 코딩 된 자격 증명을 피하고, 환경 변수를 사용하여 민감한 정보를 저장하고 궁극적으로 스크래핑 동작이 합법적이고 준수되는지 확인하는 것이 좋습니다.

로그인이 필요한 웹 사이트를 긁어야하는 경우 일반적으로 먼저 자격 증명으로 게시물 요청을 보내고 세션을 유지 한 다음 보호 된 페이지에 액세스해야합니다. 다음은 Python의 requests 과 BeautifulSoup 라이브러리를 사용하여 인증 뒤에있는 페이지를 로그인하고 긁어내는 실용적인 예입니다.

우리는 더미 로그인 양식 구조 (많은 실제 사이트와 같은)를 사용하여 처리 방법을 보여줍니다.

✅ 1. 필요한 라이브러리

그렇지 않은 경우 필요한 패키지를 설치하십시오.

 PIP 설치 요청 BeautifulSoup4

✅ 2. 예 : 로그인하고 페이지를 긁어냅니다

 가져 오기 요청
BS4 Import BeautifulSoup에서

# 1 단계 : 세션을 시작합니다
세션 = requests.session ()

# 2 단계 : 로그인 페이지의 URL (예)
login_url = 'https://httpbin.org/post' # 자리 표시 자 - 실제 로그인 URL로 교체
target_url = 'https://example.com/dashboard' # 로그인 후 스크랩하려는 페이지

# 3 단계 : 로그인 페이지 가져 오기 (필요한 경우 CSRF 토큰과 같은 숨겨진 양식 필드를 추출하려면)
login_page = session.get ( 'https://example.com/login')
soup = beautifulSoup (login_page.content, 'html.parser')

# 선택 사항 : 숨겨진 입력 추출 (예 : CSRF 토큰)
csrf_token = soup.find ( 'input', { 'name': 'csrf_token'}) [ 'value'] # 필요에 따라 이름을 조정하십시오.

# 4 단계 : 로그인 페이로드를 준비합니다
페이로드 = {
    '사용자 이름': 'your_username',
    '비밀번호': 'your_password',
    'CSRF_TOKEN': CSRF_TOKEN # 현재 if 포함
}

# 5 단계 : 로그인 양식을 제출합니다
응답 = session.post ( 'https://example.com/login', data = payload)

# 6 단계 : 로그인이 성공했는지 확인하십시오
응답으로 "로그 아웃"인 경우 repling.text : repling.text :
    print ( "in 로그인 성공")
또 다른:
    print ( "in 로그인 실패")
    print (response.status_code)
    print (response.text [: 500]) # 디버그 출력
    출구()

# 7 단계 : 보호 된 페이지를 긁어냅니다
protected_page = session.get (target_url)
수프 = BeautifulSoup (protected_page.content, 'html.parser')

# 예 : 페이지 제목 또는 특정 콘텐츠 추출
print ( "페이지 제목 :", soup.title.string)
# 또는 데이터를 스크랩합니다
data = soup.find_all ( 'div', class _ = 'content') # 선택기 조정
데이터 항목의 경우 :
    print (item.get_text (strip = true))

✅ 3. 기억해야 할 핵심 요점

• 세션 지속성 : requests.Session() 사용하여 쿠키를 유지하고 로그인하는 상태를 유지합니다.
• 로그인 양식 검사 : 브라우저 DevTools (F12)를 사용하십시오.
  • 올바른 로그인 URL (Form 's action 속성) 찾기
  • 입력 필드 이름 확인 (예 : username , email , password , csrf_token )
• CSRF & HIDDEN FIELDS : 많은 사이트에는 토큰이 필요합니다. 항상 숨겨진 입력을 확인하십시오.
• HTTPS & Security : 프로덕션에서 하드 코드 자격 증명을 절대로하지 않습니다. 환경 변수 사용 :

   OS 가져 오기
  username = os.getenv ( 'login_user')
  password = os.getenv ( 'login_pass')

• Respect robots.txt 및 서비스 약관 - 스크래핑은 금지 될 수 있습니다.

✅ 4. 실제 예제 (일반 패턴)

 가져 오기 요청
BS4 Import BeautifulSoup에서
OS 가져 오기

세션 = requests.session ()

# 자격 증명을로드합니다
user = os.getenv ( 'username', 'test@example.com')
pass = os.getenv ( '비밀번호', '비밀')

# 페치 로그인 페이지
resp = session.get ( 'https://example.com/login')
수프 = BeautifulSoup (resp.text, 'html.parser')

# 추출 CSRF 토큰
Token = soup.find ( '입력', { 'name': 'authenticity_token'}) [ 'value']

# 데이터 로그인
데이터 = {
    'Authenticity_token': 토큰,
    '사용자 [이메일] : 사용자,
    '사용자 [비밀번호]': Pass,
    '커밋': '로그인'
}

# 로그인으로 게시합니다
r = session.post ( 'https://example.com/sessions', data = data)

# 이제 스크랩
dashboard = session.get ( 'https://example.com/my-account')

✅ 5. 대안 : JavaScript가 많은 사이트에 Selenium을 사용하십시오

로그인이 JavaScript (예 : React, Vue)에 의해 처리되면 Selenium 사용하십시오.

 셀레늄 수입 웹 드라이버에서
selenium.webdriver.common.by import by에서

드라이버 = webdriver.chrome ()
driver.get ( "https://example.com/login")

driver.find_element (by.name, "username"). send_keys ( "your_user")
driver.find_element (by.name, "password"). send_keys ( "your_pass")
driver.find_Element (by.xpath, "// button [@type = '제출']"). 클릭 ()

# 대상 페이지로 이동하십시오
driver.implicitly_wait (5)
driver.get ( "https://example.com/profile")

print (driver.page_source)
driver.quit ()

기본적으로 간단한 양식의 경우 : requests Session 훌륭하게 작동합니다. 동적 사이트의 경우 : Selenium 으로 이동하십시오. 항상 소규모로 테스트하고 사이트의 정책을 확인하십시오.

위 내용은 로그인 예제와 함께 파이썬 웹 스크래핑의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!