简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
Maison > développement back-end > Tutoriel Python > le corps du texte

python使用自定义user-agent抓取网页的方法

WBOY
Libérer： 2016-06-06 11:25:14
original
1372 Les gens l'ont consulté

本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下：

下面python代码通过urllib2抓取指定的url的内容，并且使用自定义的user-agent，可防止网站屏蔽采集器

import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()
Copier après la connexion

希望本文所述对大家的Python程序设计有所帮助。

Étiquettes associées：
python
source：php.cn
Article précédent：使用Python的Twisted框架实现一个简单的服务器 Article suivant：使用Python编写一个简单的tic-tac-toe游戏的教程
Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn
Derniers articles par auteur
Derniers numéros
Python/MySQL ne peut pas conserver correctement les données entières Aucun code n'est requis ici. Je souhaite enregistrer un numéro très long car je crée un je...
Depuis 2024-04-04 19:09:44
0
1
367
En utilisant Selenium, vous voulez cliquer et définir une URL en classe J'ai besoin d'un autre conseil aujourd'hui. J'essaie de créer du code Python/Selenium et l...
Depuis 2024-04-04 14:14:44
0
1
3492
Selenium + Python - inspecter l'image viaexecute_script Je dois vérifier qu'une image est affichée sur la page en utilisant du sélénium en python....
Depuis 2024-04-03 09:32:15
0
1
375
Comment conserver les X premières lignes et supprimer les lignes du tableau J'ai une grande table avec des millions d'enregistrements dans MySQLincident_archive, je s...
Depuis 2024-04-01 18:32:54
0
1
347
Comment récupérer un texte Google Weather spécifique à l'aide de BeautifulSoup ? Comment trouver le texte du cours « New York City, USA » en Python à l'aide de BeautifulSo...
Depuis 2024-04-01 14:06:14
0
1
308
Rubriques connexes
Plus>
Recommandations populaires
Tutoriels populaires
Plus>
Tutoriels associés
Recommandations populaires
Derniers cours
Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal
À propos de nous Clause de non-responsabilité Sitemap
Site Web PHP chinois：Formation PHP en ligne sur le bien-être public，Aidez les apprenants PHP à grandir rapidement！