python爬虫需要安装什么-Tutorial Python-php.cn

python爬虫需要安装什么

藏色散人

Lepaskan： 2019-12-28 11:47:03

asal

10901 orang telah melayarinya

python爬虫需要安装什么

世界上80%的爬虫是基于Python开发的，学好爬虫技能，可为后续的大数据分析、挖掘、机器学习等提供重要的数据源。

python爬虫需要安装相关库：

python爬虫涉及的库：

请求库，解析库，存储库，工具库

1. 请求库：urllib/re/requests

（1） urllib/re是python默认自带的库，可以通过以下命令进行验证：

没有报错信息输出，说明环境正常

（2） requests安装

2.1 打开CMD，输入

pip3 install requests

Salin selepas log masuk

2.2 等待安装后，验证

（3） selenium安装（驱动浏览器进行网站访问行为）

3.1 打开CMD，输入

pip3 install selenium

Salin selepas log masuk

3.2 安装chromedriver

网址：https://npm.taobao.org/

把下载完成后的压缩包解压，把exe放到D:\Python3.6.0\Scripts\

这个路径只要在PATH变量中就可以

3.3 等待安装完成后，验证

回车后弹出chrome浏览器界面

3.4 安装其他浏览器

无界面浏览器phantomjs

下载网址：http://phantomjs.org/

下载完成后解压，把整个目录放到D:\Python3.6.0\Scripts\，把bin目录的路径添加到PATH变量

验证：

打开CMD

phantomjs
console.log(&#39;phantomjs&#39;)

CTRL+C

python
from selenium import webdriver
driver = webdriver.PhantomJS()
dirver.get(&#39;http://www.baidu.com&#39;)
driver.page_source

Salin selepas log masuk

2. 解析库：

2.1 lxml (XPATH)

打开CMD

pip3 install lxml

Salin selepas log masuk

或者从https://pypi.python.org下载，例如，lxml-4.1.1-cp36-cp36m-win_amd64.whl (md5) ,先下载whl文件

pip3 install 文件名.whl

Salin selepas log masuk

2.2 beautifulsoup

打开CMD，需要先安装好lxml

pip3 install beautifulsoup4

Salin selepas log masuk

验证

python
from bs4 import BeautifulSoup
soup = BeautifulSoup(&#39;<html></html>&#39;,&#39;lxml&#39;)

Salin selepas log masuk

2.3 pyquery（类似jquery语法）

打开CMD

pip3 install pyquery

Salin selepas log masuk

验证安装结果

python
from pyquery import PyQuery as pq
doc = pq(&#39;<html>hi</html>&#39;)
result = doc(&#39;html&#39;).text()
result

Salin selepas log masuk

3. 存储库

3.1 pymysql（操作MySQL，关系型数据库）

安装：

pip3 install pymysql

Salin selepas log masuk

安装后测试：

3.2 pymongo（操作MongoDB，key-value）

安装

pip3 install pymongo

Salin selepas log masuk

验证

python
import pymongo
client = pymongo.MongoClient(&#39;localhost&#39;)
db = client[&#39;testdb&#39;]
db[&#39;table&#39;].insert({&#39;name&#39;:&#39;bob&#39;})
db[&#39;table&#39;].find_one({&#39;name&#39;:&#39;bob&#39;})

Salin selepas log masuk