现在想爬取某个关键字下的所有商品的图片,例如关键字:电饭煲,大概要爬4400张图片。我试了一整天的pyspider,但是爬不了,请问用python还有其它方法可以做到吗?
闭关修行中......
Python+PhantomJS+selenium で問題を解決できますこの記事を参照してください: http://blog.chinaunix.net/uid-22414998-id-3692113.html?page=3
テストコード:
この回答を参照してください:
Python クローラーケース
またはこの説明ビデオ:
Python リクエストと BeautifulSoup4 を使用して淘宝クローラーを完成させるにはどうすればよいですか?
追記: 質問する前にもっと記事を読むことをお勧めします。答えはすでにあるかもしれません。
美しいスープを使用すると、選択するのに非常に便利です。
エラー メッセージを確認してください。キャプチャの失敗には必ず理由があります。IP がブロックされているかどうか、またはキャプチャ ロジックに問題があるかどうかを確認してください。
Baidu 画像クローラーは次のとおりです: http://blog.csdn.net/qq_34844199/article/details/51468841、そこから学ぶことができます
Python+PhantomJS+selenium で問題を解決できます
この記事を参照してください: http://blog.chinaunix.net/uid-22414998-id-3692113.html?page=3
テストコード:
リーリーこの回答を参照してください:
Python クローラーケース
またはこの説明ビデオ:
Python リクエストと BeautifulSoup4 を使用して淘宝クローラーを完成させるにはどうすればよいですか?
追記: 質問する前にもっと記事を読むことをお勧めします。答えはすでにあるかもしれません。
美しいスープを使用すると、選択するのに非常に便利です。
エラー メッセージを確認してください。キャプチャの失敗には必ず理由があります。IP がブロックされているかどうか、またはキャプチャ ロジックに問題があるかどうかを確認してください。
Baidu 画像クローラーは次のとおりです: http://blog.csdn.net/qq_34844199/article/details/51468841、そこから学ぶことができます