Home  >  Article  >  php教程  >  如何查看spider蜘蛛,那么怎么才能知道蜘蛛是否来过你的站?

如何查看spider蜘蛛,那么怎么才能知道蜘蛛是否来过你的站?

WBOY
WBOYOriginal
2016-06-06 20:01:152028browse

这个可以从你服务器或者虚拟主机的日志中看出来,比如我用的站的 www.com-edu.cn 的完整使用日志中有这样的记录: (IIS 日志文件位置: c:/windows/system32/LogFiles/W3SVC XXXXXXXX /ex yymmdd .log) 220.181.38.198 - - [11/Nov/2007:04:28:29 +0800] "GE

    这个可以从你服务器或者虚拟主机的日志中看出来,比如我用的站的www.com-edu.cn的完整使用日志中有这样的记录:(IIS日志文件位置:c:/windows/system32/LogFiles/W3SVCXXXXXXXX/exyymmdd.log)

220.181.38.198 - - [11/Nov/2007:04:28:29 +0800] "GET / HTTP/1.1" 200 61083 "-" "Baiduspider+

 (+http://www.baidu.com/search/spider.htm)"这就说明蜘蛛来过我的站了,如果你还想知道有没有其它搜索引擎的蜘蛛来过你的站,你可以在日志文件中搜索“spider”这个词,或者搜索蜘蛛的IP,都可以查到。

+;+.NET+CLR+1.1.4322;+.NET+CLR+2.0.50727;+CIBA;+.NET+CLR+3.0.04506.648;+.NET+CLR+3.5.21022) 200 0 0 2009-05-07 01:07:48 W3SVC1774326157 110.110.110.39 GET /images_index/icon_gaozhong.jpg - 8077 - 110.110.110.36 Mozilla/4.0+(compatible;+MSIE+8.0;+Windows+NT+5.2;+Trident/4.0;+GTB6;+Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1)

 

其他经常碰到的HTTP状态码列表如下:

HTTP状态码        摘要说明


成功2××          成功处理了请求的状态码。
200                  
服务器已成功处理了请求并提供了请求的网页。
204                  
服务器成功处理了请求,但没有返回任何内容。                        
重定向3××       每次请求中使用重定向不要超过 5 次。

301                   
请求的网页已永久移动到新位置。当URLs发生变化时,使用301代码。搜索引擎索引中保存新的URL
302                  
请求的网页临时移动到新位置。搜索引擎索引中保存原来的URL
304                  
如果网页自请求者上次请求后没有更新,则用304代码告诉搜索引擎机器人,可节省带宽和开销。
客户端错误4××  表示请求可能出错,妨碍了服务器的处理。
400                   
服务器不理解请求的语法。
403                   
服务器拒绝请求。
404                   
服务器找不到请求的网页。服务器上不存在的网页经常会返回此代码。
410                   
请求的资源永久删除后,服务器返回此响应。该代码与 404(未找到)代码相似,但在资源以前存在而现在不存在的情况下,有时用来替代404 代码。如果资源已永久删除,应当使用 301 指定资源的新位置。
服务器错误5××   表示服务器在处理请求时发生内部错误。这些错误可能是服务器本身的错误,而不是请求出错。
500                    
服务器遇到错误,无法完成请求。
503                    
服务器目前无法使用(由于超载或停机维护)。通常,这只是暂时状态。

Statement:
The content of this article is voluntarily contributed by netizens, and the copyright belongs to the original author. This site does not assume corresponding legal responsibility. If you find any content suspected of plagiarism or infringement, please contact admin@php.cn
Previous article:php文件上传Next article:mssql2005全文索