python - Scrapy并没有循环callback是怎么回事?
天蓬老师
天蓬老师 2017-04-17 17:43:57
0
1
260

在get_level2_topics这里并没有循环,不知道哪里出了问题,怎么就跳出了,我在get_level1_topics测试过,可以看到所有的topic_id都有输出。
不知哪里出了问题,请指教!

  • 问题:
    get_level1_topics 循环-> get_level2_topics(并没有循环)

代码如下:

def get_level1_topics(self, response):
    # 计数
    count = 0
    # print topic_ids
    for u in urls:
        yield scrapy.Request(
                 url=self.zhihu_topics_url + u,
                 headers=headers,
                 meta={
                     "proxy": proxy,
                     "cookiejar": response.meta["cookiejar"],
                     # 传递参数topic_id
                     "topic_id": topic_ids[count],
                 },
                 callback=self.get_level2_topics
                 )
        count +=1
        
def get_level2_topics(self, response):
    print response.meta['topic_id']
天蓬老师
天蓬老师

欢迎选择我的课程,让我们一起见证您的进步~~

répondre à tous(1)
左手右手慢动作

Peut-être que vos URL sont vides, donc le rendement ne sera pas exécuté

Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal