pyspider scheduler 停止调度,重启时间长.
高洛峰
高洛峰 2016-10-22 16:00:16
0
1
1244

当前的pyspider为pyspider (0.3.9) python 2.7.5

大概有200个项目,其中部分stop,运行状态大概有100多个。

projectdb和resultdb 使用的是 mongodb collection有过百万的数据。某些porjectdb 的task数据也有数十万条

当我修改项目的itag 然后修改项目状态为running,然后点run,显示为红色,看scheduler日志提示当前项目状态不是run或者debug,然后schedular停止调度了。

scheduler运行一段时间也有时 停止调度。

当重启scheduler 会打印很多诸如 :

[E 161019 15:07:37 scheduler:241] unknown project: whole_***

[E 161019 15:22:46 scheduler:767] not processing pack: **********:2e8087192edf9a9922701d2370cdcf5dhttp://www.******.com/157405/ 
这样的报错, 重启过程特别慢,将近两个小时,看日志没有其它别的异常。


高洛峰
高洛峰

拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师,...

全部回复(1)
三叔

scheduler 停止调度是所有 project 都停止调度还是你尝试重启的那个停止调度?

追踪 scheduler 日志关于 project %s updated, status:%s, paused:%s, %d tasks 的内容,看看 schduler 是否得知 project 状态已改变。

unknown project 如果 project 确实存在,是不应该出现的
not processing pack 是正常的,scheduler 重启后,先前分发的任务就没法追踪了
启动时 scheduler 需要从数据库中恢复所有活动任务的状态,如果任务很多确实会比较耗时


热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板