Rumah > pembangunan bahagian belakang > Tutorial Python > python的爬虫框架有哪些

python的爬虫框架有哪些

爱喝马黛茶的安东尼
Lepaskan: 2019-06-20 09:49:35
asal
8370 orang telah melayarinya

python的爬虫框架有哪些

python的爬虫框架有哪些?下面给大家介绍一个常用的python爬虫的十大框架:

一、Scrapy

Scrapy框架是一套比较成熟的Python爬虫框架,是使用Python开发的快速、高层次的信息爬取框架,可以高效的爬取web页面并提取出结构化数据。

Scrapy应用范围很广,爬虫开发、数据挖掘、数据监测、自动化测试等。

二、PySpider

是国人用python编写的一个功能强大的网络爬虫框架。主要特性如下:

1、强大的WebUI,包含:脚本编辑器、任务监控器,项目管理器和结果查看器;
2、多数据库支持,包括:MySQL, MongoDB, Redis, SQLite, Elasticsearch; PostgreSQL with SQLAlchemy等;
3、使用RabbitMQ, Beanstalk, Redis 和Kombu作为消息队列;
4、支持任务优先级设定、定时任务、失败后重试等;
5、支持分布式爬虫

三、Crawley

高速爬取对应网站的内容,支持关系和非关系数据库,数据可以导出为JSON、XML等

相关推荐:《python视频教程

四、Portia 

可视化爬取网页内容

五、newspaper

提取新闻、文章以及内容分析
六、python-goose

java写的文章提取工具
七、Beautiful Soup

名气大,整合了一些常用爬虫需求。缺点:不能加载JS。

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间。这个我是使用的特别频繁的。在获取html元素,都是bs4完成的。

八、mechanize

优点:可以加载JS。缺点:文档严重缺失。不过通过官方的example以及人肉尝试的方法,还是勉强能用的。
九、selenium

这是一个调用浏览器的driver,通过这个库你可以直接调用浏览器完成某些操作,比如输入验证码。
十、cola

一个分布式爬虫框架。项目整体设计有点糟,模块间耦合度较高。

 

Atas ialah kandungan terperinci python的爬虫框架有哪些. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Label berkaitan:
sumber:php.cn
Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Artikel terbaru oleh pengarang
Tutorial Popular
Lagi>
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan