Nginx에서 크롤러를 필터링하는 사용자 에이전트 방법 구성

첫눈에 믿을 수 없습니다. 기본적으로 "yisouspider"라는 사용자 에이전트가 범람했습니다. 얼핏 보면 거미가 어디서 왔는지 알 수 없습니다.
루트 디렉터리 구성 영역을 찾아 사용자 에이전트 필터 판단 문을 추가하고 "yisouspider"라는 항목이 직접 403을 반환하는지 확인

참고 1: 여러 필터를 추가해야 하는 경우 다음을 수행하고

 ($http_user_agent ~* "spider1|spider2|spider3|spider4")

분리하세요.

참고 2: 저처럼 하위 디렉토리 블로그를 사용하는 경우 "location /blog/"와 같은 섹션을 찾아 수정해야 합니다.

location / {
......其它配置
if ($http_user_agent ~* "yisouspider") {
return 403;
}
}

구성이 완료되고 wq가 저장하고 nginx를 다시 로드한 후 다음 명령을 사용하여 자체 테스트하고 주소를 직접 변경하세요. 컬이 설치되어 있지 않으면 apt나 yum을 이용해 직접 설치할 수밖에 없습니다. 매직툴이 함께 제공됩니다.

curl -i -a "yisouspider" www.slyar.com/blog/

구성이 성공했음을 나타내는 403이 반환되는 것을 확인하세요

위 내용은 Nginx에서 크롤러를 필터링하는 사용자 에이전트 방법 구성의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!