Empire CMS에서 robots.txt 파일 사용을 해결하는 한 가지 트릭

이 문서의 예에서는 Empire CMS의 robots.txt 파일 사용법을 설명합니다. 참고할 수 있도록 모든 사람과 공유하세요. 구체적인 분석은 다음과 같습니다.

Empire CMS에서 robots.txt 파일의 사용에 대해 이야기하기 전에 robots.tx가 수행하는 작업에 대해 설명하겠습니다.

robots 프로토콜(크롤러 프로토콜, 크롤러 규칙, 로봇 프로토콜이라고도 함) 등)은 robots .txt라고도 하며, 웹사이트는 로봇 프로토콜을 통해 크롤링할 수 있는 페이지와 크롤링할 수 없는 페이지를 검색 엔진에 알려줍니다. 로봇 프로토콜은 국제 인터넷 커뮤니티의 일반적인 윤리 강령으로, 그 목적은 웹 사이트 데이터와 민감한 정보를 보호하고 사용자의 개인 정보 및 사생활이 침해되지 않도록 하는 것입니다. 명령이 아니기 때문에 검색엔진은 의식적으로 이를 준수해야 합니다. 악성 코드와 같은 일부 바이러스는 로봇 프로토콜을 무시하여 웹사이트 배경 데이터와 개인 정보를 획득하는 경우가 많습니다.

robots.txt 파일은 Windows 시스템과 함께 제공되는 메모장과 같은 일반적인 텍스트 편집기를 사용하여 만들고 편집할 수 있는 텍스트 파일입니다. robots.txt는 명령이 아니라 프로토콜입니다. robots.txt는 검색 엔진이 웹 사이트를 방문할 때 가장 먼저 보는 파일입니다. robots.txt 파일은 스파이더에게 서버에서 볼 수 있는 파일을 알려줍니다.

"Empire cms tutorial" 학습을 권장합니다

검색 스파이더가 사이트를 방문하면 먼저 사이트의 루트 디렉터리에 robots.txt가 있는지 확인하고, 존재한다면 검색 로봇이 콘텐츠를 따라갑니다. 파일에서 액세스 범위를 결정합니다. 파일이 존재하지 않으면 모든 검색 스파이더가 비밀번호로 보호되지 않은 웹사이트의 모든 페이지에 액세스할 수 있습니다. Baidu는 웹사이트에 검색 엔진에서 색인을 생성하고 싶지 않은 콘텐츠가 포함된 경우에만 robots.txt 파일을 사용해야 한다고 공식적으로 권장합니다. 검색 엔진이 사이트의 모든 콘텐츠를 포함하도록 하려면 robots.txt 파일을 만들지 마세요.

웹사이트를 호텔의 방으로 생각한다면 robots.txt는 주인이 방 문에 걸어 놓은 "Do Not Disturb" 또는 "Welcome to Clean" 표시입니다. 이 파일은 방문 검색 엔진에 어떤 방에 들어가고 방문할 수 있는지, 어떤 방은 귀중품을 보관하거나 거주자와 방문자의 개인 정보를 보호할 수 있기 때문에 검색 엔진에 공개되지 않는 방을 알려줍니다. 하지만 robots.txt는 명령도 아니고 방화벽도 아닙니다. 마치 문지기가 도둑과 같은 악의적인 침입자를 막을 수 없는 것과 같습니다.

Empire CMS의 기본 robots.txt는

코드는 다음과 같습니다.

#
# robots.txt for EmpireCMS
#
User-agent: * *允许所有搜索引擎抓取
Disallow: /d/ *禁止所有搜索引擎抓取D目录
Disallow: /e/class/ *禁止所有搜索引擎抓取/e/class/ 目录
Disallow: /e/data/ *禁止所有搜索引擎抓取/e/data/ 目录
Disallow: /e/enews/ *禁止所有搜索引擎抓取/e/enews/ 目录
Disallow: /e/update/ *禁止所有搜索引擎抓取/e/update/ 目录

이 글이 모든 분들의 Empire CMS 웹사이트 구축에 도움이 되기를 바랍니다.

위 내용은 Empire CMS에서 robots.txt 파일 사용을 해결하는 한 가지 트릭의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!