python - 爬取淘宝的商品图片
阿神
阿神 2017-04-17 17:53:03
0
5
491

现在想爬取某个关键字下的所有商品的图片,例如关键字:电饭煲,大概要爬4400张图片。我试了一整天的pyspider,但是爬不了,请问用python还有其它方法可以做到吗?

阿神
阿神

闭关修行中......

Antworte allen(5)
洪涛

Python+PhantomJS+selenium 可以解决你的烦恼
参考这篇文章:http://blog.chinaunix.net/uid-22414998-id-3692113.html?page=3

测试代码:

#coding=utf-8

from selenium import webdriver
driver = webdriver.PhantomJS()
driver.get("https://s.taobao.com/search?q=iphone")

datas = driver.find_elements_by_class_name('J_ItemPic')
for _ in datas:
    print _.get_attribute('src')
迷茫

參考這個回答:

python爬虫案例

或是這個教學視頻:

如何使用Python 的requests 及BeautifulSoup4 完成淘寶爬蟲?


P.S. 建議發問前可以多爬爬文,可能答案早就在裡面囉!

巴扎黑

用beautifulsoup很方便选取啊。

迷茫

题主看下错误提示,抓取不成功总有原因的,看是IP被封还是抓取逻辑有问题
Python在线编译执行

左手右手慢动作

这里有个百度图片爬虫:http://blog.csdn.net/qq_34844199/article/details/51468841,可以借鉴

Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage
Über uns Haftungsausschluss Sitemap
Chinesische PHP-Website:Online-PHP-Schulung für das Gemeinwohl,Helfen Sie PHP-Lernenden, sich schnell weiterzuentwickeln!