84669인 학습
152542인 학습
20005인 학습
5487인 학습
7821인 학습
359900인 학습
3350인 학습
180660인 학습
48569인 학습
18603인 학습
40936인 학습
1549인 학습
1183인 학습
32909인 학습
scrapy版本：1.1.2python 版本：3.5
在使用scrapy抓取数据的时候使用了代理IP，难免会遇到代理IP失效的情况。
因为对数据完整性要求较高，请问如何设置只要没有成功的返回response则把任务重新放进Request队列中去继续爬取？
拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师，...
可以使用scrapy自带的scrapy.downloadermiddlewares.retry.RetryMiddleware中间件，然后通过这几个参数进行配置：RETRY_ENABLED: 是否开启retryRETRY_TIMES: 重试次数RETRY_HTTP_CODECS: 遇到什么http code时需要重试，默认是500,502,503,504,408，其他的，网络连接超时等问题也会自动retry的
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
可以使用scrapy自带的scrapy.downloadermiddlewares.retry.RetryMiddleware中间件，然后通过这几个参数进行配置：
RETRY_ENABLED: 是否开启retry
RETRY_TIMES: 重试次数
RETRY_HTTP_CODECS: 遇到什么http code时需要重试，默认是500,502,503,504,408，其他的，网络连接超时等问题也会自动retry的