84669 人が学習中
152542 人が学習中
20005 人が学習中
5487 人が学習中
7821 人が学習中
359900 人が学習中
3350 人が学習中
180660 人が学習中
48569 人が学習中
18603 人が学習中
40936 人が学習中
1549 人が学習中
1183 人が学習中
32909 人が学習中
scrapy版本：1.1.2python 版本：3.5
在使用scrapy抓取数据的时候使用了代理IP，难免会遇到代理IP失效的情况。
因为对数据完整性要求较高，请问如何设置只要没有成功的返回response则把任务重新放进Request队列中去继续爬取？
拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师，...
可以使用scrapy自带的scrapy.downloadermiddlewares.retry.RetryMiddleware中间件，然后通过这几个参数进行配置：RETRY_ENABLED: 是否开启retryRETRY_TIMES: 重试次数RETRY_HTTP_CODECS: 遇到什么http code时需要重试，默认是500,502,503,504,408，其他的，网络连接超时等问题也会自动retry的
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
可以使用scrapy自带的scrapy.downloadermiddlewares.retry.RetryMiddleware中间件，然后通过这几个参数进行配置：
RETRY_ENABLED: 是否开启retry
RETRY_TIMES: 重试次数
RETRY_HTTP_CODECS: 遇到什么http code时需要重试，默认是500,502,503,504,408，其他的，网络连接超时等问题也会自动retry的