python - pyspider爬取时fetcher报超时错误:fetcher/: 504 Gateway Time-out
高洛峰
高洛峰 2017-04-18 09:45:14
0
2
1135

有时爬虫会报如下超时错误:

Traceback (most recent call last):
  File "/opt/pyspider/pyspider/run.py", line 351, in <lambda>
    app.config['fetch'] = lambda x: umsgpack.unpackb(fetcher_rpc.fetch(x).data)
  File "/usr/lib/python2.7/xmlrpclib.py", line 1233, in __call__
    return self.__send(self.__name, args)
  File "/usr/lib/python2.7/xmlrpclib.py", line 1587, in __request
    verbose=self.__verbose
  File "/usr/lib/python2.7/xmlrpclib.py", line 1273, in request
    return self.single_request(host, handler, request_body, verbose)
  File "/usr/lib/python2.7/xmlrpclib.py", line 1321, in single_request
    response.msg,
ProtocolError: <ProtocolError for fetcher/: 504 Gateway Time-out>

请问有什么好的方法避免?

高洛峰
高洛峰

拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师,...

全員に返信(2)
巴扎黑

このエラーはデバッグ中にのみ表示されます

いいねを押す +0
左手右手慢动作

@zuzhaochao
これは確かにデバッグ中のフロントエンドのミスアライメントであり、バックグラウンドのフェッチャーが次のようなエラーを報告します:
[E 161014 23:45:09 tornado_fetcher:202] [599] douban : f25b579c7b441d19bc800412cccb145b https://movie.douban.com/revi... ValueError('JSON オブジェクトをデコードできませんでした',) 50.00s
デバッグ完了後、実際にクロールを開始すると大量のしばらくすると、このエラーが発生し、ページ上でクローラーのステータスが「一時停止」として表示されます。何が問題ですか?どうやって解決すればいいでしょうか?

いいねを押す +0
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート
私たちについて 免責事項 Sitemap
PHP中国語ウェブサイト:福祉オンライン PHP トレーニング,PHP 学習者の迅速な成長を支援します!