Comment définir les en-têtes de requête pour le robot d'exploration Python

Lors de la demande d'exploration du Web, des mots tels que « Désolé, accès impossible » apparaîtront dans les informations textuelles de sortie. Cela signifie que l'exploration est interdite et que le mécanisme anti-exploration doit être utilisé pour résoudre ce problème.

Les en-têtes sont l'un des moyens de résoudre le problème de l'anti-exploration des requêtes. Cela équivaut à entrer dans le serveur lui-même de cette page Web et à prétendre qu'il explore des données.

Pour les pages Web anti-crawler, vous pouvez définir certaines informations d'en-tête pour simuler un navigateur accédant au site Web.

en-têtes

Navigateur Google ou Firefox, cliquez sur la page web : clic droit – Inspecter ; cliquez sur Plus d'outils – Développement ou outil ; vous pouvez également directement F12. Appuyez ensuite sur Fn+F5 pour actualiser la page Web afin d'afficher les éléments

Certains navigateurs cliquent : clic droit -> Afficher les éléments, actualiser

Recommandations associées : "Tutoriel vidéo Python》

Remarque : Il existe de nombreux contenus dans les en-têtes, les principaux couramment utilisés sont l'agent utilisateur et l'hôte. Ils sont affichés sous forme de paires de clés If. user-agent Si vous utilisez des paires de clés de dictionnaire comme contenu des en-têtes, vous pouvez réussir l'analyse inverse et aucune autre paire de clés n'est nécessaire, sinon vous devez ajouter d'autres paires de clés sous les en-têtes ;

Paramètres

import urllib2
import urllib
values={"username":"xxxx","password":"xxxxx"}
data=urllib.urlencode(values)
url= "https://ssl.gstatic.com/gb/images/v2_730ffe61.png"
user_agent="Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1"
referer='http://www.google.com/'
headers={"User-Agent":user_agent,'Referer':referer}
request=urllib2.Request(url,data,headers)
response=urllib2.urlopen(request)
print response.read()

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!