Python – Scrapys Spider erleichtert das Ausführen und Debuggen in der IDE

Question

Ich habe viele Spider, daher kann ich nicht jedes Mal, wenn ich debugge, manuell einen Debugger (Scrapy Crawl Spider_Name) erstellen. Ich denke, ich kann mit der rechten Maustaste auf die Spider-Datei klicken, um sie direkt auszuführen/debuggen.

欧阳克 · Answer

参考文章：Scrapy爬虫常见问题总结

spider方便运行/调试

在spider文件中，加入cmdline的调用方法

import scrapy.cmdline

#Your Spider Class...

def main():
    scrapy.cmdline.execute(['scrapy', 'crawl', 'your_spider_name'])

if __name__ == '__main__':
    main()

过去多啦不再A梦 · Answer

新建一个py文件，用这个来调试

from scrapy.cmdline import execute

import sys
import os


sys.path.append(os.path.dirname(os.path.abspath(__file__)))

execute(["scrapy","crawl","YOUR_SPIDER"])