简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
使用python scrapy框架,循環爬取URL, 每次運行一段時間後直接卡死,沒有任何報錯
世界只因有你
世界只因有你 2017-06-12 09:27:08
0
2
879

每次運行半小時左右, 直接卡死, log裡沒有任何報錯, 卡死的時候CPU佔用率非常高

我在setting.py裡設定了download timeout,不是超時的原因

ctrl-c無法正常退出, ctrl-z退出以後, 繼續執行還是同樣的問題, 半小時後再次卡死

#
世界只因有你
世界只因有你

全部回覆 (2)
小葫芦
小葫芦2017-06-12 09:29:08 2樓

先TOP看看是內否過高，還是CPU過高，再找到是被哪些進程佔用了
如果都是你的爬蟲進程，那就得排查代碼，看看是不是哪裡一直未被釋放

總之從各方面去排查吧

點贊+0
新增回覆
    Ty80
    Ty802017-06-12 09:29:08 1樓

    strace

    點贊+0
    新增回覆
      熱門專題
      更多>
      熱門文章
      熱門教學
      更多>
      相關教學
      熱門推薦
      最新課程
      最新下載
      更多>
      網站特效
      網站源碼
      網站素材
      前端模板
      關於我們 免責聲明 Sitemap
      PHP中文網：公益線上PHP培訓，幫助PHP學習者快速成長！