python - Utilisez le framework Scrapy pour explorer les images Baidu et être bloqué

Question

L'URL de l'adresse de demande est l'adresse de json obtenue via Firefox. Elle peut être ouverte avec un navigateur, mais elle a été interdite lors de l'exploration avec Scrapy. Veuillez le résoudre. https://image.baidu.com/searc...

黄舟 · Answer

Essayez-le sur settings.py 将 ROBOTSTXT_OBEY = False.

某草草 · Answer

Essayez sans auditeurs

为情所困 · Answer

Je suis d'accord avec l'étage, s'il y aura encore un mur. La méthode scrapy+selenium+phantomjs peut être utilisée.