로봇이 PHP를 크롤링하는 것을 방지하는 방법

로봇이 PHP를 크롤링하는 것을 금지하는 방법: 1. robots.txt 파일에 "Disallow: /*?*"를 작성합니다. 2. robots.txt에 "User-agent:* Allow: .html$" 규칙을 추가합니다. file Disallow: /"이면 충분합니다.

이 문서의 운영 환경: Windows 7 시스템, PHP 버전 7.1, DELL G3 컴퓨터

로봇은 검색 엔진이 PHP 동적 URL을 크롤링하는 것을 금지합니다.

소위 동적 URL은 URL에 다음이 포함된다는 의미입니다. ? , & 및 기타 문자 유형 URL(예: news.php?lang=cn&class=1&id=2) 웹사이트의 의사 정적 URL을 활성화한 후에는 웹사이트의 SEO를 위해 검색 엔진이 다음의 동적 URL을 크롤링하는 것을 방지해야 합니다. 우리 웹사이트.

왜 이러는 걸까요? 이는 검색 엔진이 동일한 페이지를 두 번 크롤링한 후 웹사이트에서 일부 작업을 실행하지만 최종적으로 동일한 페이지로 판단되기 때문입니다. 즉, 이를 구체적으로 처벌하는 방법이 명확하지 않기 때문입니다. 전체 웹사이트의. 그렇다면 검색 엔진이 우리 웹사이트의 동적 URL을 크롤링하는 것을 방지하는 방법은 무엇입니까?

robots.txt 파일을 사용하여 이 문제를 해결하세요. 아래의 자세한 작업을 참조하세요.

동적 페이지에는 모두 공통 기능이 있다는 것을 알고 있습니다. 즉, 링크에 "?" 물음표 기호가 있으므로 robots.txt 파일에 다음 규칙을 작성할 수 있습니다.

User-agent: *
Disallow: /*?*

그렇습니다. 엔진은 전체 웹사이트의 동적 링크를 크롤링하는 것이 금지되어 있습니다. 또한 검색 엔진이 HTML 형식의 정적 페이지와 같은 특정 유형의 파일만 크롤링하도록 하려면 robots.txt에 다음 규칙을 추가할 수 있습니다.

User-agent: *
Allow: .html$
Disallow: /

또한 작성된 robots.txt 파일을 In에 넣는 것을 잊지 마세요. 그렇지 않으면 작동하지 않습니다. 또한, 규칙 작성을 위한 간단한 단축키도 있습니다. Google 웹마스터 도구에 로그인하여 규칙을 작성하고 robots.txt 파일을 생성하면 됩니다.

【추천 학습: "PHP 비디오 튜토리얼"】

위 내용은 로봇이 PHP를 크롤링하는 것을 방지하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!