Python – Scrapy crawlt viel mehr Seiten, als tatsächlich Elemente eingibt?

Question

{Code...} Warum besuche ich mehr Seiten, als tatsächlich Elemente eingebe, wenn ich Scrapy zum Crawlen verwende? Gibt es eine Möglichkeit, das Problem zu lösen, dass die Elemente nach längerem Crawlen nur wenige Daten enthalten? ?

ringa_lee · Answer

重定向了，你看到了吧，重定向就得请求两个页面啊。还有就是看有不有页面解析发生了错误。