Ajouter deux espaces à l'espacement des paragraphes HTML

Ce code peut être utilisé pour importer les bibliothèques nécessaires pour extraire et analyser des données Web et les importer dans une base de données : obtenez des pages Web à l'aide de la bibliothèque de requêtes Python. Utilisez la bibliothèque BeautifulSoup pour analyser la page et extraire les données requises. Connexion à la base de données établie et création de tables à l'aide de la bibliothèque SQLite3. Écrivez les données extraites dans une table de base de données. Validez les modifications et fermez la connexion à la base de données.

Utilisez Python et SQL pour gratter et analyser des données Web

Importer des bibliothèques essentielles

import requests
from bs4 import BeautifulSoup
import sqlite3

Demander et analyser des pages Web

url = 'https://example.com/page/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

Extraire les données requises

Utilisez la méthode find_all() 和 get_text() pour extraire les données requises du page .

titles = soup.find_all('h1')
titles = [title.get_text() for title in titles]

Établir une connexion à la base de données

conn = sqlite3.connect('database.db')
c = conn.cursor()

Écrire des données dans la base de données

for title in titles:
    c.execute('INSERT INTO titles (title) VALUES (?)', (title,))

Commettre les modifications et fermer la connexion

conn.commit()
conn.close()

Cas pratique

Utilisez ce code pour récupérer les principales données de titre de produit de la page d'accueil d'Amazon et les stocker dans un SQLite milieu de base de données. Voici le code démo :

import requests
from bs4 import BeautifulSoup
import sqlite3

url = 'https://amazon.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

titles = soup.find_all('h2', {'class': 'a-size-medium s-inline s-access-title'})
titles = [title.get_text().strip() for title in titles]

conn = sqlite3.connect('amazon_titles.db')
c = conn.cursor()
for title in titles:
    c.execute('INSERT INTO titles (title) VALUES (?)', (title,))

conn.commit()
conn.close()

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!