#-*- coding: utf-8 -
import scrapy
class DmozItem (scrapy.Item):
title= scrapy.Field()
link=scrapy.Field()
desc=scrapy.Fieldd()
import scrapy
class DmozSpider(scrapy.Spider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
"http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
]
def parse(self, response):
for sel in response.xpath('//ul/li'):
item = DmozItem()
item['title']= sel.xpath('a/text()').extract()
item['ink'] = sel.xpath('a/@href').extract()
item['desc']= sel.xpath('text()').extract()
yield item
为什么在dmzo_spider.py文件加入
执行scrapy crawl dmoz -o items.json时会报错,
如果去掉的话就会有 item = DmozItem()
exceptions.NameError: global name 'DmozItem' is not defined
的报错
建议你把报错信息贴出来
请问题主后来是怎样解决这个问题的
我也是因为这个错误查到这里来的。我来贴一个,希望对后面看到的同学有用。
提示错误为你没有引入定义DmozItem()这个函数的文件!
在你的DEMOSPIDE.PY文件前面加上如下内容:
from tutorial.items import DmozItem or
from tutorial.items import *
路径有问题,我的方法是
items.py加一句from scrapy.item import Item, Field
朋友 看下你的items.py的文件 里面的class的名字是什么?
教程里面的是TutorialItem 但是教程代码上让你引入的是DmozItem 所以 改下名字咯~
终于搞明白了:project目录问题。
我使用的编辑器是eclipse,这个scrapy工程不能套在eclipse的工程里。