Obtenez des données sur Internet à l'aide d'Excel et Python

L'article d'aujourd'hui est principalement divisé en deux parties. L'une consiste à créer un site Web de données via Python et l'autre consiste à utiliser Excel et Python pour obtenir des données à partir du site Web écrit.

1. Construire des données de site Web à des fins de test

Créez un site Web et un service API Web via le framework Web Python Flask.

1. Créer un site Web

Créez un nouveau script Python nommé "5-5-WebTable.py" pour créer une page Web simple contenant un tableau. Si le lecteur n'est pas intéressé par la méthode de construction, vous pouvez ignorer le code suivant et exécuter directement le script "5-5-WebTable.py" pour ouvrir le site Web.

(1) Installez le package flask.

pip install flask

(2) Créez une page Web contenant un tableau.

from flask import Flask

app = Flask(__name__)# 创建Falsk Web应用实例

# 将路由“/”映射到table_info函数，函数返回HTML代码
@app.route('/')
def table_info():

return """<h2>HTML表格实例，用于提供给Excel和Python读取</h2>
<table border="1">
<caption>用户信息表</caption>
<tbody><tr>
<th>姓名</th>
<th>性别</th>
<th>年龄</th>
</tr>
<tr>
<td>小米</td>
<td>女</td>
<td>22</td>
</tr>
……….
</tbody></table>"""

if __name__ == '__main__':
app.debug = True# 启用调试模式
app.run()# 运行，网站端口默认为5000

Démarrez le site Web via la commande "python ./5-5-WebTable.py", puis entrez http://127.0.0.1:5000/ dans le navigateur, et le contenu de la page Web illustré dans la figure 1 apparaîtra.

Figure 1 Testez un site Web créé à l'aide de Flask

2. Créez un service API Web

Créez un nouveau script Python nommé "5-5-WebAPI.py" et utilisez le package flask_restplus pour créer le service API Web. Si le lecteur n'est pas intéressé par la méthode de construction, vous pouvez ignorer le code suivant et exécuter directement le script "5-5-WebAPI.py" pour ouvrir le service Web API.

(1) Installez le package flask_restplus.

pip install flask-restplus

(2) Importez les bibliothèques nécessaires et initialisez les objets d'application.

from flask import Flask
# Api类是Web API应用的入口，需要用Flask应用程序初始化
from flask_restplus import Api

# Resource类是HTTP请求的资源的基类
from flask_restplus import Resource

# fields类用于定义数据的类型和格式
from flask_restplus import fields

app = Flask(__name__)# 创建Falsk Web应用实例

# 在flask应用的基础上构建flask_restplusApi对象
api = Api(app, version='1.0',
title='Excel集成Python数据分析-测试用WebAPI',
description='测试用WebAPI', )

# 使用namespace函数生成命名空间，用于为资源分组
ns = api.namespace('ExcelPythonTest', description='Excel与Python Web API测试')
# 使用api.model函数生成模型对象
todo = api.model('task_model', {
'id': fields.Integer(readonly=True,
 description='ETL任务唯一标识'),
'task': fields.String(required=True,
description='ETL任务详情')
})

(3) Classe d'opérations de données de l'API Web, y compris des méthodes telles que l'ajout, la suppression, la modification et la requête.

class TodoDAO(object):

def __init__(self):
self.counter = 0
self.todos = []

def get(self, id):
for todo in self.todos:
if todo['id'] == id:
return todo
api.abort(404, "ETL任务 {} 不存在".format(id))

def create(self, data):
todo = data
todo['id'] = self.counter = self.counter + 1
self.todos.append(todo)
return todo

# 实例化数据操作，创建3条测试数据
DAO = TodoDAO()
DAO.create({'task': 'ETL-抽取数据操作'})
DAO.create({'task': 'ETL-数据清洗转换'})
DAO.create({'task': 'ETL-数据加载操作'})

(4) Créez le mappage d'itinéraire de l'API Web.

La classe de requête de ressources HTTP hérite de la classe Resource, puis mappe sur différentes routes, tout en spécifiant la méthode HTTP qui peut être utilisée.

@ns.route('/')# 路由“/”对应的资源类为TodoList，可使用get方法和post方法进行请求
class TodoList(Resource):
@ns.doc('list_todos')# @doc装饰器对应API文档的信息
@ns.marshal_list_with(todo)# @marshal_xxx装饰器对模型数据进行格式转换与输出
def get(self):# 定义get方法获取所有的任务信息
return DAO.todos

@ns.doc('create_todo')
@ns.expect(todo)
@ns.marshal_with(todo, code=201)
def post(self):# 定义post方法获取所有的任务信息
return DAO.create(api.payload), 201

# 路由/<int:id>对应的资源类为Todo，可使用get、delete、put方法进行请求
@ns.route('/<int:id>')
@ns.response(404, '未发现相关ETL任务')
@ns.param('id', 'ETL任务ID号')
class Todo(Resource):
@ns.doc('get_todo')
@ns.marshal_with(todo)
def get(self, id):
return DAO.get(id)

@ns.doc('delete_todo')
@ns.response(204, 'ETL任务已经删除')
def delete(self, id):
DAO.delete(id)
return '', 204

@ns.expect(todo)
@ns.marshal_with(todo)
def put(self, id):
return DAO.update(id, api.payload)

if __name__ == '__main__':
app.run(debug=True, port=8000)# 启动Web API服务，端口为8000

(4) Démarrez le service API Web.

Démarrez le service API Web via la commande "python ./5-5-WebAPI.py", saisissez "http://127.0.0.1:8000/" dans le navigateur, l'API Web illustrée dans la figure 5-23 apparaît Liste des méthodes de demande de service.

Figure 2 Liste des méthodes de demande de service WebAPI

2. Capture des données de page Web

Excel peut capturer les données de page Web via la fonction « Auto-site Web » sous l'onglet « Données ». Python peut utiliser la bibliothèque de requêtes, le package Beautiful Soup et le framework Scrapy pour explorer les données de pages Web.

1. Saisissez via Excel

Cliquez sur la fonction "Données" → "Depuis d'autres sources" → "Depuis le site Web". Il existe des limites aux données de page Web qu'Excel peut lire : les données de page Web dynamiques ne peuvent pas être automatiquement reconnues et les données autres que les tableaux ne peuvent pas être automatiquement reconnues.

(1) Cliquez sur la fonction « Données » → « Depuis d'autres sources » → « Depuis le site Web ».

(2) Assurez-vous que le site Web écrit dans la section 5.5.1 a été démarré.

(3) Saisissez l'adresse URL du site Web « http://127.0.0.1:5000/ »

Cliquez sur le bouton « Avancé » pour configurer des informations de requête HTTP plus détaillées, puis cliquez sur le bouton « OK », comme indiqué dans Figure 3 Afficher.

Figure 3 Configurez l'URL du site Web à lire

(4) Sélectionnez importer les données dans la fenêtre "Navigateur".

Comme le montre la figure 4, Excel reconnaît automatiquement les données du tableau dans la page Web, sélectionnez le nom du tableau et cliquez sur le bouton « Charger ».

Figure 4 Excel reconnaît automatiquement les données tabulaires dans la page Web

2 Utilisez Python pour explorer

Ce qui suit montre l'utilisation de la bibliothèque de requêtes pour capturer les données dans l'intégralité de la page Web, puis l'utilisation de Beautiful Soup pour analyser la page Web. . Les lecteurs peuvent se référer au fichier de code "5-5-web.ipynb" dans ce livre pour en savoir plus.

(1) Lisez les données des pages Web via des requêtes.

import requests #导入requests包
url ='http://127.0.0.1:5000/'

strhtml= requests.get(url) #使用get方法请求网页数据

(2) Analysez les pages Web via Beautiful Soup.

from bs4 import BeautifulSoup

soup = BeautifulSoup(strhtml.text)# 将网页内容作为参数，创建soup对象
table = soup.find('table')# 查找网页中的table元素
table_body = table.find('tbody')# 查找table元素中的tbody元素
data = []
rows = table_body.find_all('tr')# 查找表中的所有tr元素

for row in rows:# 遍历数据
cols = row.find_all('td')
cols = [ele.text.strip() for ele in cols]
data.append([ele for ele in cols if ele])
# 结果输出：[[],
['小米', '女', '22'],['小明','男','23'],……

3. Appeler le service API Web

Excel peut appeler le service API Web via la fonction « Site Web autonome » sous l'onglet « Données ». Python peut utiliser la bibliothèque de requêtes, le package Beautiful Soup et le framework Scrapy pour appeler l'API Web afin d'obtenir des données.

1. Utilisez Excel pour appeler

(1) Assurez-vous que le service API Web écrit dans la section 5.5.1 a été démarré.

(2) Saisissez l'URL correspondant à la méthode Web API : http://127.0.0.1:8000/ExcelPythonTest/.

(3) Traitez les données renvoyées.

Après avoir appelé le service Web API, les données sont renvoyées au format JSON. Traitez les données JSON selon la méthode introduite dans la section 5.4.3.

2. Utilisez Python pour appeler

Utilisez la bibliothèque de requêtes pour appeler la méthode API Web, puis traitez les données JSON renvoyées. Les lecteurs peuvent se référer au fichier de code "5-5-api.ipynb" dans ce livre pour. apprendre.

import requests#导入requests包
url ='http://127.0.0.1:8000/ExcelPythonTest/'

strhtml= requests.get(url)#使用get方法获取网页数据

import pandas as pd

frame= pd.read_json(strhtml.text)#使用Pandas包中的read_json函数
print(frame)
#结果输出：
id task
0 1 ETL-抽取数据操作
1 2 ETL-数据清洗转换
2 3 ETL-数据加载操作

4、两种方法对比

表1所示为Excel和Python抓取互联网数据方法的对比。需要注意Excel从互联网抓取数据的功能并不完善。

表1   Excel和Python抓取互联网数据方法对比

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!