Comment obtenir du contenu Web en python
Python est assez bon pour le traitement des données. Si vous souhaitez créer un robot d'exploration, Python est un bon choix. Il contient de nombreux packages de classes pré-écrits qui peuvent exécuter de nombreuses fonctions complexes tant qu'elles sont appelées.
1 Pyhton récupère le contenu de la page Web (c'est-à-dire le code source) (apprentissage recommandé : Tutoriel vidéo Python)
page = urllib2.urlopen(url) contents = page.read() #获得了整个网页的内容也就是源代码 print(contents)
url représente l'URL, le contenu représente le code source correspondant à l'URL, urllib2 est le package qui doit être utilisé, les trois lignes de code ci-dessus peuvent obtenir l'intégralité du code source de la page Web
2 Obtenez le contenu souhaité dans la page Web (obtenez d'abord le code source de la page Web, puis analysez le code source de la page Web, recherchez la balise correspondante, puis extrayez le contenu de la balise)
Prenons comme exemple le classement des films Douban
Maintenant, je dois obtenir les noms, les notes, le nombre de critiques et les liens de tous les films sur la page actuelle
#coding:utf-8
'''''
@author: jsjxy
'''
import urllib2
import re
from bs4 import BeautifulSoup
from distutils.filelist import findall
page = urllib2.urlopen('http://movie.douban.com/top250?format=text')
contents = page.read()
#print(contents)
soup = BeautifulSoup(contents,"html.parser")
print("豆瓣电影TOP250" + "\n" +" 影片名 评分 评价人数 链接 ")
for tag in soup.find_all('div', class_='info'):
# print tag
m_name = tag.find('span', class_='title').get_text()
m_rating_score = float(tag.find('span',class_='rating_num').get_text())
m_people = tag.find('div',class_="star")
m_span = m_people.findAll('span')
m_peoplecount = m_span[3].contents[0]
m_url=tag.find('a').get('href')
print( m_name+" " + str(m_rating_score) + " " + m_peoplecount + " " + m_url )
Sortie de la console , vous pouvez également l'écrire dans un fichier
Article supplémentaire sur les technologies liées à Python, veuillez visiter la colonne Tutoriel Python pour apprendre !
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
Outils d'IA chauds
Undress AI Tool
Images de déshabillage gratuites
Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes
AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.
Stock Market GPT
Recherche d'investissement basée sur l'IA pour des décisions plus intelligentes
Article chaud
Outils chauds
Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit
SublimeText3 version chinoise
Version chinoise, très simple à utiliser
Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP
Dreamweaver CS6
Outils de développement Web visuel
SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)
Comment installer des packages à partir d'un fichier exigence.txt dans Python
Sep 18, 2025 am 04:24 AM
Exécutez pipinstall-rrequirements.txt pour installer le package de dépendance. Il est recommandé de créer et d'activer l'environnement virtuel d'abord pour éviter les conflits, s'assurer que le chemin du fichier est correct et que le PIP a été mis à jour et utiliser des options telles que --No-Deps ou --User pour ajuster le comportement d'installation si nécessaire.
Comment tester le code Python avec Pytest
Sep 20, 2025 am 12:35 AM
Python est un outil de test simple et puissant dans Python. Après l'installation, les fichiers de test sont automatiquement découverts en fonction des règles de dénomination. Écrivez une fonction commençant par test_ pour les tests d'assurance, utilisez @ pytest.fixture pour créer des données de test réutilisables, vérifiez les exceptions via PyTest.Rais, prend en charge l'exécution de tests spécifiés et plusieurs options de ligne de commande et améliore l'efficacité des tests.
Des débutants aux experts: 10 sites Web de données publiques gratuites incontournables
Sep 15, 2025 pm 03:51 PM
Pour les débutants en science des données, le cœur du saut de "l'inexpérience" à "l'expert de l'industrie" est une pratique continue. La base de la pratique est les ensembles de données riches et diversifiés. Heureusement, il existe un grand nombre de sites Web sur Internet qui offrent des ensembles de données publiques gratuits, qui sont des ressources précieuses pour améliorer les compétences et affiner vos compétences.
Comment gérer les arguments de ligne de commande dans Python
Sep 21, 2025 am 03:49 AM
TheargParsemoduleisthereComMendwaytoHandleCommand-lineargumentsInpython, fournissantRobustParsing, Typevalidation, HelpMessages, AnderrorHling; usys.argvforsimplécasesrequiringminimalsepup.
Comment choisir un ordinateur adapté à l'analyse des mégadonnées? Guide de configuration pour l'informatique haute performance
Sep 15, 2025 pm 01:54 PM
L'analyse des mégadonnées doit se concentrer sur le CPU multi-core, la mémoire de grande capacité et le stockage à plusieurs niveaux. Les processeurs multi-core tels qu'AmDepyc ou RyzentHreadripper sont préférés, en tenant compte du nombre de cœurs et de performances monocomes; La mémoire est recommandée pour commencer avec 64 Go et la mémoire ECC est préférée pour assurer l'intégrité des données; Le stockage utilise NVMESSD (système et données chaudes), SATASSD (données communes) et disque dur (données froides) pour améliorer l'efficacité globale de traitement.
Comment pouvez-vous créer un gestionnaire de contexte en utilisant le décorateur @contextManager dans Python?
Sep 20, 2025 am 04:50 AM
Importer @ contextManagerfromContextLibandDeFineAgeneratorFonctionnement toTyieldSexactlyOnce, où les actes de championnalsAnterAndCodeLifteryiel
Qu'est-ce que le bip? Pourquoi sont-ils si importants pour l'avenir du bitcoin?
Sep 24, 2025 pm 01:51 PM
Table des matières Qu'est-ce que la proposition d'amélioration du bitcoin (BIP)? Pourquoi le BIP est-il si important? Comment le processus BIP historique fonctionne-t-il pour la proposition d'amélioration du bitcoin (BIP)? Qu'est-ce qu'un signal de type BIP et comment un mineur l'envoie-t-il? La racine de racine et les inconvénients d'un essai rapide de la conclusion du BIP - des améliorations de Bitcoin ont été apportées depuis 2011 par le biais d'un système appelé Bitcoin Improvement Proposition ou «BIP». Bitcoin Improvement Proposition (BIP) fournit des lignes directrices sur la façon dont le bitcoin peut se développer en général, il existe trois types possibles de BIP, dont deux sont liés aux changements technologiques de Bitcoin chaque BIP commence par des discussions informelles parmi les développeurs de Bitcoin qui peuvent rassembler n'importe où, y compris TWI
Comment lire les variables d'environnement dans Python
Sep 19, 2025 am 02:22 AM
ToreAnvironmentVariablesInpython, useos.environ.get () method.importosmodule, AccessVariblesViaos.environ ['var_name'] orsafelywithos.environ.get ('var_name', 'par défaut') toavoidkeyerror, recommandée.
