python - Gunakan rangka kerja buruk untuk merangkak gambar Baidu dan disekat

Question

Url alamat permintaan ialah alamat json yang diperoleh melalui firefox Ia boleh dibuka dengan penyemak imbas, tetapi ia dilarang apabila merangkak dengan scrapy. https://image.baidu.com/searc...

黄舟 · Answer

Cubalah di settings.py 将 ROBOTSTXT_OBEY = False.

某草草 · Answer

Cuba tanpa mendengar

为情所困 · Answer

Saya setuju dengan tingkat atas, jika masih ada dinding. Kaedah scrapy+selenium+phantomjs boleh digunakan.