登录  /  注册
Python爬虫之lxml-etree和xpath的结合使用(附案例)
不言
发布: 2018-09-07 16:13:40
原创
12129人浏览过

本篇文章给大家介绍的是Python爬虫之lxml-etree和xpath的结合使用(附案例),内容很详细,希望可以帮助到大家。

lxml:python 的HTML/XML的解析器

官网文档:https://lxml.de/

使用前,需要安装安 lxml 包

功能:

1.解析HTML:使用 etree.HTML(text) 将字符串格式的 html 片段解析成 html 文档

2.读取xml文件

3.etree和XPath 配合使用

lxml 的安装

【PyCharm】>【file】>【settings】>【Project Interpreter】>【+】 >【lxml】>【install】

具体操作截图:

2018082919141626.jpg

20180829191424943.jpg

20180829191420268.jpg

lxml-etree 的使用

  • 案例v25文件:https://xpwi.github.io/py/py%E7%88%AC%E8%99%AB/py25etree.py

  • 用 lxml 来解析HTML代码

# 先安装lxml
# 用 lxml 来解析HTML代码

from lxml import etree

text = '''<p>
    <ul>
        <li class="item-0"><a href="0.html">item 0 </a></li>
        <li class="item-1"><a href="1.html">item 1 </a></li>
        <li class="item-2"><a href="2.html">item 2 </a></li>
        <li class="item-3"><a href="3.html">item 3 </a></li>
        <li class="item-4"><a href="4.html">item 4 </a></li>
        <li class="item-5"><a href="5.html">item 5 </a></li>
    </ul>     </p>'''

# 利用 etree.HTML 把字符串解析成 HTML 文件
html = etree.HTML(text)
s = etree.tostring(html).decode()

print(s)
登录后复制

运行结果

20180829193033919.jpg

lxml-etree 的使用

  • 案例v26etree2文件:https://xpwi.github.io/py/py%E7%88%AC%E8%99%AB/py26etree2.py

  • 读取xml文件:

# lxml-etree读取文件from lxml import etree

xml = etree.parse("./py24.xml")
sxml = etree.tostring(xml, pretty_print=True)

print(sxml)
登录后复制

运行结果

20180829200120588.jpg

etree和XPath 配合使用

  • 案例v26expath.文件:https://xpwi.github.io/py/py%E7%88%AC%E8%99%AB/py26expath.py

  • etree和XPath 配合使用:

# lxml-etree读取文件from lxml import etree

xml = etree.parse("./py24.xml")
print(type(xml))# 查找所有 book 节点rst = xml.xpath('//book')
print(type(rst))
print(rst)# 查找带有 category 属性值为 sport 的元素rst2 = xml.xpath('//book[@category="sport"]')

print(type(rst2))
print(rst2)# 查找带有category属性值为sport的元素的book元素下到的year元素rst3 = xml.xpath('//book[@category="sport"]/year')
rst3 = rst3[0]

print('-------------\n',type(rst3))
print(rst3.tag)
print(rst3.text)
登录后复制

运行结果

etree和XPath 配合使用结果

20180829202438973.jpg

相关推荐:

python爬虫之xpath的基本使用详解

python爬虫是什么?为什么把python叫做爬虫?

以上就是Python爬虫之lxml-etree和xpath的结合使用(附案例)的详细内容,更多请关注php中文网其它相关文章!

相关标签:
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 技术文章
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2023 //m.sbmmt.com/ All Rights Reserved | 苏州跃动光标网络科技有限公司 | 苏ICP备2020058653号-1

 | 本站CDN由 数掘科技 提供

登录PHP中文网,和优秀的人一起学习!
全站2000+教程免费学