84669 人が学習中
152542 人が学習中
20005 人が学習中
5487 人が学習中
7821 人が学習中
359900 人が学習中
3350 人が学習中
180660 人が学習中
48569 人が学習中
18603 人が学習中
40936 人が学習中
1549 人が学習中
1183 人が学習中
32909 人が学習中
爬虫使用scrapy框架写的,使用脚本方式执行,配合APScheduler任务调度器定时执行,爬虫本身可以执行,只是定时执行失败,也没有报错误原因,日志见图,
这是程序执行主要代码部分
代码在windows系统可以运行,目前在Linux失败了,请问是什么原因?
认证0级讲师
经过自己折腾和翻墙查找终于让它在Linux下运行起来了,第一次调度爬虫作业是打开的,但是不解析网页,只有第二次调度它时,它才开始解析并且正常工作。我自己猜测和react.run()有关,apscheduler任务调度框架和Scrapy结合使用时是要在twisted框架下使用的。当要定时执行爬虫任务时,第一次不解析,第二次开始解析。
经过自己折腾和翻墙查找终于让它在Linux下运行起来了,第一次调度爬虫作业是打开的,但是不解析网页,只有第二次调度它时,它才开始解析并且正常工作。我自己猜测和react.run()有关,apscheduler任务调度框架和Scrapy结合使用时是要在twisted框架下使用的。当要定时执行爬虫任务时,第一次不解析,第二次开始解析。