Raisons et solutions pour les pages Web tronquées capturées par Python

Le contenu de cet article concerne les raisons et les solutions pour lesquelles Python explore des pages Web tronquées. Il a une certaine valeur de référence. Les amis dans le besoin peuvent s'y référer. J'espère qu'il vous sera utile.

Lorsque nous utilisons Python2 pour explorer des pages Web, nous constatons souvent que le contenu capturé est affiché sous forme de caractères tronqués.

La possibilité la plus probable que cela se produise est un problème d'encodage : L'encodage des caractères de l'environnement en cours d'exécution est incohérent avec l'encodage des caractères de la page Web.

Par exemple, un site Web encodé en utf-8 est capturé dans la console Windows (gbk). Ou bien, grattez un site Web codé en gbk dans un terminal Mac/Linux (utf-8). Étant donné que la plupart des sites Web utilisent le codage UTF-8 et que de nombreuses personnes utilisent Windows, cette situation est assez courante.

Si vous constatez que l'anglais, les chiffres et les symboles dans le contenu que vous avez capturé semblent corrects, mais qu'il y a des caractères tronqués au milieu, vous pouvez essentiellement conclure que c'est le cas.

La façon de résoudre ce problème est de d'abord décoder le résultat en Unicode selon la méthode d'encodage de la page Web, puis de le sortir. Si vous n'êtes pas sûr de l'encodage de la page web, vous pouvez vous référer au code suivant :

import urllib
req = urllib.urlopen("http://some.web.site")
info = req.info()
charset = info.getparam('charset')
content = req.read()
print content.decode(charset, 'ignore')

Le paramètre 'ignore' est utilisé pour ignorer les caractères qui ne peuvent pas être décodés.

Cependant, cette méthode ne fonctionne pas toujours. Une autre façon consiste à faire correspondre directement les paramètres d'encodage dans le code de la page Web via des expressions régulières :

<meta>

En plus des problèmes d'encodage provoquant des caractères tronqués, il existe une autre situation qui est souvent négligée, à savoir le la page cible est activée par compression gzip. Les pages Web compressées transmettent moins de données et s'ouvrent plus rapidement. Lorsque vous l'ouvrez dans un navigateur, celui-ci le décompresse automatiquement en fonction des informations d'en-tête de la page Web. Mais le récupérer directement avec le code ne le fera pas. Par conséquent, vous ne savez peut-être pas pourquoi il est correct d’ouvrir l’adresse de la page Web mais de ne pas la récupérer avec le programme. Même moi, j'ai été trompé par ce problème.

La manifestation de cette situation est que le contenu capturé est presque entièrement tronqué et ne peut même pas être affiché.

Pour déterminer si la compression est activée sur une page Web et la décompresser, vous pouvez vous référer au code suivant :

import urllib
import gzip
from StringIO import StringIO
req = urllib.urlopen("http://some.web.site")
info = req.info()
encoding = info.getheader('Content-Encoding')
content = req.read()
if encoding == 'gzip':
    buf = StringIO(content)
    gf = gzip.GzipFile(fileobj=buf)
    content = gf.read()
print content

Dans notre série de vérifications météorologiques d'exemples de programmation en classe (cliquez pour voir) , ces deux-là Le problème dérange pas mal de gens. Permettez-moi de donner ici une explication particulière.

Enfin, il y a une autre « arme tranchante » que je voudrais présenter. Si vous l'utilisez depuis le début, vous ne saurez même pas que les deux problèmes ci-dessus existent.

Voici le module demandes.

Explorez les pages Web de la même manière, simplement :

import requests
print requests.get("http://some.web.site").text

Aucun problème d'encodage, aucun problème de compression.

C'est pourquoi j'aime Python.

Pour savoir comment installer le module de requêtes, veuillez vous référer à l'article précédent :

Comment installer des modules tiers de Python - Classe de programmation de Crossin - Chronique Zhihu

pip install requests

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!