• 技术文章 >后端开发 >Python教程

    python使用自定义user-agent抓取网页的方法

    2016-06-06 11:25:14原创739
    本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下:

    下面python代码通过urllib2抓取指定的url的内容,并且使用自定义的user-agent,可防止网站屏蔽采集器

    import urllib2
    req = urllib2.Request('http://192.168.1.2/')
    req.add_header('User-agent', 'Mozilla 5.10')
    res = urllib2.urlopen(req)
    html = res.read()

    希望本文所述对大家的Python程序设计有所帮助。

    声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn核实处理。
    上一篇:使用Python的Twisted框架实现一个简单的服务器 下一篇:使用Python编写一个简单的tic-tac-toe游戏的教程
    20期PHP线上班

    相关文章推荐

    精选22门好课,价值3725元,开通VIP免费学习!• Python中闭包与lambda的作用域解析• 完全掌握Python中的双下方法• 总结分享Python冷门的技巧• Python解析参数的三种方法详解• python虚拟环境配置与管理
    1/1

    PHP中文网