Maison > développement back-end > Tutoriel Python > Introduction détaillée à la fonction de robot d'exploration simple basée sur Python3.4

Introduction détaillée à la fonction de robot d'exploration simple basée sur Python3.4

巴扎黑
Libérer: 2017-09-16 10:16:36
original
1585 Les gens l'ont consulté

Cet article présente principalement la programmation Python3.4 pour implémenter des fonctions simples d'exploration et d'exploration, impliquant l'exploration de pages Web Python3.4 et des techniques d'exploitation liées à l'analyse régulière. Les amis dans le besoin peuvent s'y référer

Cet article décrit le. exemples La programmation Python3.4 implémente une fonction de robot d'exploration simple. Partagez-le avec tout le monde pour votre référence, les détails sont les suivants :


import urllib.request
import urllib.parse
import re
import urllib.request,urllib.parse,http.cookiejar
import time
def getHtml(url):
  cj=http.cookiejar.CookieJar()
  opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
  opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36'),('Cookie','4564564564564564565646540')]
  urllib.request.install_opener(opener)
  page = urllib.request.urlopen(url)
  html = page.read()
  return html
#print ( html)
#html = getHtml("http://weibo.com/")
def getimg(html):
  html = html.decode('utf-8')
  reg='"screen_name":"(.*?)"'
  imgre = re.compile(reg)
  src=re.findall(imgre,html)
  return src
#print ("",getimg(html))
uid=['2808675432','3888405676','2628551531','2808587400']
for a in list(uid):
  print (getimg(getHtml("http://weibo.com/"+a)))
  time.sleep(1)
Copier après la connexion

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Étiquettes associées:
source:php.cn
Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn
Tutoriels populaires
Plus>
Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal