• 技术文章 >php教程 >php手册

    如何查看spider蜘蛛,那么怎么才能知道蜘蛛是否来过你的站?

    2016-06-06 20:01:15原创1549

    这个可以从你服务器或者虚拟主机的日志中看出来,比如我用的站的 www.com-edu.cn 的完整使用日志中有这样的记录: (IIS 日志文件位置: c:/windows/system32/LogFiles/W3SVC XXXXXXXX /ex yymmdd .log) 220.181.38.198 - - [11/Nov/2007:04:28:29 +0800] "GE

    这个可以从你服务器或者虚拟主机的日志中看出来,比如我用的站的www.com-edu.cn的完整使用日志中有这样的记录:(IIS日志文件位置:c:/windows/system32/LogFiles/W3SVCXXXXXXXX/exyymmdd.log)

    220.181.38.198 - - [11/Nov/2007:04:28:29 +0800] "GET / HTTP/1.1" 200 61083 "-" "Baiduspider+

    (+http://www.baidu.com/search/spider.htm)"这就说明蜘蛛来过我的站了,如果你还想知道有没有其它搜索引擎的蜘蛛来过你的站,你可以在日志文件中搜索“spider”这个词,或者搜索蜘蛛的IP,都可以查到。

    +;+.NET+CLR+1.1.4322;+.NET+CLR+2.0.50727;+CIBA;+.NET+CLR+3.0.04506.648;+.NET+CLR+3.5.21022) 200 0 0 2009-05-07 01:07:48 W3SVC1774326157 110.110.110.39 GET /images_index/icon_gaozhong.jpg - 8077 - 110.110.110.36 Mozilla/4.0+(compatible;+MSIE+8.0;+Windows+NT+5.2;+Trident/4.0;+GTB6;+Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1)

    其他经常碰到的HTTP状态码列表如下:

    HTTP状态码 摘要说明


    成功2×× 成功处理了请求的状态码。
    200
    服务器已成功处理了请求并提供了请求的网页。
    204
    服务器成功处理了请求,但没有返回任何内容。
    重定向3×× 每次请求中使用重定向不要超过 5 次。

    301
    请求的网页已永久移动到新位置。当URLs发生变化时,使用301代码。搜索引擎索引中保存新的URL
    302
    请求的网页临时移动到新位置。搜索引擎索引中保存原来的URL
    304
    如果网页自请求者上次请求后没有更新,则用304代码告诉搜索引擎机器人,可节省带宽和开销。
    客户端错误4×× 表示请求可能出错,妨碍了服务器的处理。
    400
    服务器不理解请求的语法。
    403
    服务器拒绝请求。
    404
    服务器找不到请求的网页。服务器上不存在的网页经常会返回此代码。
    410
    请求的资源永久删除后,服务器返回此响应。该代码与 404(未找到)代码相似,但在资源以前存在而现在不存在的情况下,有时用来替代404 代码。如果资源已永久删除,应当使用 301 指定资源的新位置。
    服务器错误5×× 表示服务器在处理请求时发生内部错误。这些错误可能是服务器本身的错误,而不是请求出错。
    500
    服务器遇到错误,无法完成请求。
    503
    服务器目前无法使用(由于超载或停机维护)。通常,这只是暂时状态。

    声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn核实处理。
    上一篇:php文件上传 下一篇:自己动手写 PHP MVC 框架(40节精讲/巨细/新人进阶必看)

    相关文章推荐

    • 关于UEditor编辑器远程图片上传失败的解决办法• ThinkPHP框架里隐藏index.php,thinkphpindex.php• php将csv文件导入到mysql数据库的方法,• 程序员吃自助餐后的反思• PHP 修改RAR文件注释及添加压缩文档讲解
    1/1

    PHP中文网