python - Le Spider de Scrapy facilite l'exécution et le débogage dans l'EDI

Question

J'ai beaucoup d'araignées, je ne peux donc pas créer manuellement un débogueur (scrapy crawl spider_name) à chaque fois que je débogue. Je pense que je peux cliquer avec le bouton droit sur le fichier araignée pour l'exécuter/déboguer.

欧阳克 · Answer

Article de référence : Résumé des problèmes courants avec les robots Scrapy

spider est facile à exécuter/déboguer

Dans le fichier spider, ajoutez la cmdline méthode d'appel

import scrapy.cmdline

#Your Spider Class...

def main():
    scrapy.cmdline.execute(['scrapy', 'crawl', 'your_spider_name'])

if __name__ == '__main__':
    main()

过去多啦不再A梦 · Answer

Créez un nouveau fichier py et utilisez-le pour déboguer

from scrapy.cmdline import execute

import sys
import os


sys.path.append(os.path.dirname(os.path.abspath(__file__)))

execute(["scrapy","crawl","YOUR_SPIDER"])