在python编写爬虫的过程中(爬取wiki百科的词条),使用迭代器输出过程中出现了url["href"]想着应该属于迭代器里面一个用法,但却没有找到,求助这个用法的意思,谢谢
#coding:utf-8
import urllib
import urllib2
import re
from bs4 import BeautifulSoup
resp = urllib2.urlopen("https://en.wikipedia.org/wiki/Main_Page").read()
soup = BeautifulSoup(resp,"html.parser")
listurl = soup.findAll('a',href=re.compile("^/wiki/"))
for url in listurl:
print url.get_text(),"------>","https://en.wikipedia.org"+url["href"]
最后一行的url["href"],对爬取得数据产生了截断的效果,没加之前,输出为:
print url
输出:Disclaimers
加了之后,输出为:
print url["href"]
输出:/wiki/Wikipedia:General_disclaimer
求解,谢谢
只要实现了__getitem__方法的类就可以使用中括号取值。