Introduction à la façon dont Python3 utilise le package de requêtes pour capturer et enregistrer le code source d'une page Web

L'exemple de cet article décrit comment Python3 utilise le package de requêtes pour récupérer et enregistrer le code source d'une page Web. Partagez-le avec tout le monde pour votre référence, les détails sont les suivants :

Utilisez le module de requêtes de Python 3 pour récupérer le code source de la page Web et enregistrez-le dans un fichier. Exemple :

import requests
html = requests.get("http://www.baidu.com")
with open('test.txt','w',encoding='utf-8') as f:
 f.write(html.text)

Il s'agit d'une opération de sauvegarde de fichier de base, mais il y a plusieurs problèmes à noter ici :

1 Installez le package de requêtes. demandes sur la ligne de commande pour l’installer automatiquement. De nombreuses personnes recommandent d'utiliser les requêtes. L'urllib.request intégré peut également capturer le code source de la page Web

2. Définissez le paramètre d'encodage de la méthode open sur utf-8, sinon le fichier enregistré sera tronqué.

3. Si vous exportez directement le contenu capturé dans cmd, diverses erreurs d'encodage seront affichées, alors enregistrez-le dans un fichier pour le visualiser.

4. La méthode with open est une meilleure façon d'écrire, qui peut automatiquement libérer des ressources une fois l'opération terminée.

Autre exemple :

import requests
ff = open('testt.txt','w',encoding='utf-8')
with open('test.txt',encoding="utf-8") as f:
 for line in f:
 ff.write(line)
ff.close()

Il s'agit d'une démonstration de la lecture d'un fichier txt, une ligne à la fois, et de son enregistrement dans un autre exemple dans un fichier txt.

Parce que lors de l'impression des données, lisez une ligne à la fois dans la ligne de commande, des erreurs d'encodage se produiront en chinois, alors lisez une ligne à la fois et enregistrez-la dans un autre fichier pour tester si la lecture est normale. (Notez que la méthode d'encodage est spécifiée lors de l'ouverture)

Pour plus d'informations sur la façon dont Python3 utilise le package de requêtes pour capturer et enregistrer le code source de la page Web, veuillez faire attention au site Web PHP chinois pour les articles connexes !