如题，在on_start()的时候直接调用key_word_rank_page()生成几千条链接，并调用self.crawl。在调试的时候没问题，但是实际运行的时候代码跑一会就不动了，数据库就没有数据写入了，taskdb库也看到这个工程的task条数没有增长

@every(minutes=24 * 60) def on_start(self): self.key_word_rank_page() pass def key_word_rank_page(self): i = 0; page 参数从0开始的 while i <= 3000: keywordrank_url = "https://www.douban.com/more/getmore.html?page=%s&genreIds="%(i) self.crawl(url=keywordrank_url, callback=self.process_keyword) i += 1; pass