Python 안티 크롤러의 지식 포인트는 무엇입니까?

1. 왜 크롤러를 방지해야 할까요?

크롤러 방지 시스템을 설계하기 전에 먼저 크롤러가 웹 사이트에 어떤 문제를 가져올지 살펴보겠습니다.

기본적으로 인터넷은 사람이 탐색하고 보고 사용할 수 있습니다. . 웹사이트와 그에 포함된 데이터는 모두 공개되어 접근 가능하므로 이른바 '불법적 접근' 문제는 없습니다.

웹 페이지에 액세스하는 크롤러 프로그램과 웹 페이지에 액세스하는 사람 사이에는 본질적인 차이가 없습니다. 두 경우 모두 클라이언트는 요청을 받은 후 웹 사이트 서버에 HTTP 요청을 시작합니다. 클라이언트에게.

요청이 시작되는 한 웹사이트 서버가 응답해야 하며, 서버의 리소스가 소비되어야 합니다.

웹사이트 방문자와 웹사이트 사이에는 상호 이익이 되는 관계가 있습니다. 웹사이트는 방문자에게 필요한 정보와 서비스를 제공하고 방문자는 또한 웹사이트에 트래픽, 방문자 및 활동을 가져옵니다. 따라서 웹사이트 소유자는 방문자에게 서비스를 제공하기 위해 서버의 대역폭, 디스크 및 메모리를 기꺼이 사용할 것입니다.

크롤러는 매춘에 해당하나요? 웹 사이트 서버의 리소스를 두 배로 늘리고 서버 대역폭을 점유한다고 해서 웹 사이트에 어떤 이점도 가져다 주지는 않습니다. 실제로 최종 결과는 웹 사이트 자체에 해로울 것입니다.

크롤러는 인터넷의 아프리카 하이에나로 간주될 수 있습니다. 웹사이트 소유자가 크롤러를 미워하는 것도 당연합니다.

2. 크롤러 식별

저는 크롤러를 싫어하기 때문에 웹 사이트에서 크롤러를 차단해야 합니다. 물론 크롤러 액세스를 거부하려면 먼저 네트워크 방문자 중에서 크롤러 프로그램을 식별해야 합니다. 식별 방법

1. HTTP 요청 헤더

일반 네트워크 방문자는 브라우저를 사용하여 웹 사이트에 액세스하므로 이 식별은 가장 기본적인 웹 크롤러에 대한 것입니다. 브라우저는 기본 정보를 표시하기 위해 자체 요청 헤더를 가져옵니다. HTTP 요청 헤더는 누구나 수정하고 위조할 수 있기 때문에 크롤러에 의해 쉽게 손상됩니다.

2. 쿠키 값

쿠키는 일반적으로 귀하의 손에 있는 임시 신분증과 유사하게 웹사이트 방문자를 식별하는 데 사용됩니다. 그리고 이를 바탕으로 웹사이트 서버에서 본인 여부를 확인합니다. 안타깝게도 쿠키는 클라이언트 측에 저장되며 수정 및 위조될 수 있습니다.

3. 방문 빈도

방문자가 1초마다 웹사이트의 특정 페이지를 요청하거나 몇 초 안에 해당 페이지를 수백 번 요청하는 경우. 이 방문자는 크롤러이거나 유령입니다. 어떤 인간이 마우스를 빠르고 자주 클릭하여 페이지를 방문할 수 있습니까? 그는 파킨슨 병을 앓고 있습니까, 아니면 문어의 환생입니까?

액세스 빈도로 크롤러를 식별하는 것이 가능하지만 크롤러는 다수의 프록시 IP를 사용하여 IP 주소에 한 번만 액세스하는 효과를 얻을 수도 있고 무작위 요청 간격으로 우회할 수도 있습니다.

4. 마우스 행동 궤적

일반 인간 방문자는 웹 탐색 시 기계처럼 마우스를 움직여 단계별로 클릭하지 않습니다. 마우스의 움직임과 클릭은 JS 스크립트를 통해 캡쳐할 수 있으므로 방문자의 마우스 행동 궤적을 판단하여 방문자가 크롤러 프로그램인지 여부를 판단할 수 있습니다.

5. 토큰 가치

현재 많은 웹사이트에서는 프런트엔드와 백엔드가 분리된 개발 방식을 채택하고 있으며, 백엔드 인터페이스는 데이터를 프런트엔드로 반환하고, 프런트엔드는 데이터를 가져옵니다. 렌더링을 위해 페이지와 결합합니다. 따라서 많은 크롤러 프로그램은 어리석게 페이지를 요청하는 대신 데이터 인터페이스를 직접 찾습니다. 토큰은 이러한 백엔드 데이터 인터페이스를 확인하는 데 사용됩니다. 일반적으로 토큰은 시간과 웹 페이지 키의 조합으로 암호화됩니다.

크롤러를 식별하는 방법은 더 다양하지만 여기서는 하나씩 소개하지 않겠습니다. 안타깝게도 위의 방법 중 어떤 방법을 사용하여 웹 크롤러를 식별하더라도 크롤러에 의해 속거나 침투될 위험이 항상 존재합니다.

3. 크롤러 거부

일회성 웹사이트 보안이 없는 것처럼 10년 전에 포트 3389를 닫으면 서버가 봇이 되는 것을 방지할 수 있습니다. 요즘에는 다양한 방화벽과 다양한 보안 조치가 적용됩니다. 0Day 취약점으로 인해 협박을 당할 가능성도 추가되었습니다.

파충류와 반파충류 사이에는 항상 투쟁과 고조가 있습니다. 사이버 공격과 방어, 크롤링 방지의 차이점은 전자는 거침없는 싸움인 반면, 후자는 올림픽에 출전하는 권투 선수처럼 장갑과 헬멧을 착용해야 한다는 점입니다.

웹사이트를 운영하려면 콘텐츠를 외부세계에 공개해야 하는데, 공개된 콘텐츠는 마치 아프리카 사바나에 떠도는 썩은 고기와 피 냄새 같아서 하이에나의 도래를 직접적으로 유인하는 것 같습니다.

공개 콘텐츠와 크롤러를 위한 데이터 마이닝 풀이 되는 것을 피하는 것 사이의 균형을 맞추는 것은 어려운 일입니다.

1. 콘텐츠 공개를 제한하세요

오픈 콘텐츠는 사용자 확보와 트래픽 확보의 기반이 되므로 콘텐츠는 반드시 공개되어야 합니다. 그러나 콘텐츠의 개방성은 무한한 개방성이 아니다. 등록되지 않은 사용자는 하나 또는 두 개의 콘텐츠를 볼 수 있지만 모든 콘텐츠에 무제한으로 액세스할 수는 없습니다. 이러한 제한은 로그인, 스캔 코드 확인 또는 Google 확인 코드 액세스와 같은 클릭 확인 메커니즘의 형태를 취할 수 있습니다.

요즘에는 Weibo, Zhihu, Taobao 등 점점 더 많은 웹사이트가 제한된 콘텐츠 공개 메커니즘을 채택하고 있습니다. 한두 페이지의 콘텐츠를 볼 수 있지만 그래도 계속하려면 죄송합니다. 로그인하세요. .

2. 사용자 작업을 행동으로 기록합니다

방문자에게 로그인을 요구해도 문제가 해결되지 않습니다. 왜냐하면 시뮬레이션된 로그인은 이미지 확인 코드, 퍼즐, 슬라이더 또는 중국어 클릭 등 항상 웹 크롤러 프로그램의 인기 있는 개발 분야였기 때문입니다. 문자는 깨질 것입니다. APP 및 크롤러 프로그램을 작성하면 SMS 인증 코드가 웹사이트와 통신할 수 있습니다.

그래서 사용자 행동을 기록하는 것은 필수적입니다. 모든 사용자 작업 및 액세스 행동을 기록해야 합니다. 이는 크롤러를 분석하고 처리하는 기초입니다.

3. 고빈도 행위를 통제 차원에서 엄중 단속

실제로 웹사이트의 데이터나 콘텐츠를 발굴하기 위해 실행되는 것이 아니라 단지 수동 수집을 용이하게 하기 위해 실행되는 크롤러 프로그램도 많이 있습니다. 조직의 경우 이러한 유형의 크롤러 동작은 일반적으로 수동 탐색 빈도보다 높지만 하이에나와 같은 크롤러의 빈도보다 훨씬 낮으므로 이러한 유형의 크롤러 동작은 무시할 수 있습니다. 우리가 나중에 다시 만날 수 있도록 생활 속 한 줄을 지켜주세요.

단, 웹사이트 서버 운영에 영향을 미치는 고주파 크롤러 동작에 대한 조치가 필요합니다. 사용자 정보와 IP 정보를 결합하여 해당 사용자 또는 IP를 처리합니다.

4. 계약에 따른 권리 선언

웹 사이트 소유자는 웹 사이트 계약 또는 사용자 계약에 위협을 가하는 비정상적, 고주파 및 데이터 획득이 허용된다는 점을 선언해야 합니다. 웹사이트 서버의 안정성이 저하될 수 있습니다.

위 내용은 Python 안티 크롤러의 지식 포인트는 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!