现在想爬取某个关键字下的所有商品的图片,例如关键字:电饭煲,大概要爬4400张图片。我试了一整天的pyspider,但是爬不了,请问用python还有其它方法可以做到吗?
闭关修行中......
Python+PhantomJS+selenium 可以解決你的煩惱參考這篇文章:http://blog.chinaunix.net/uid-22414998-id-3692113.html?page=3
測試程式碼:
#coding=utf-8 from selenium import webdriver driver = webdriver.PhantomJS() driver.get("https://s.taobao.com/search?q=iphone") datas = driver.find_elements_by_class_name('J_ItemPic') for _ in datas: print _.get_attribute('src')
參考這個回答:
python爬蟲案例
或是這個教學影片:
如何使用Python 的requests 及BeautifulSoup4 完成淘寶爬蟲?
P.S. 建議發問前可以多爬爬文,可能答案早就在裡面囉!
用beautifulsoup很方便選取啊。
題主看下錯誤提示,抓取不成功總有原因的,看是IP被封還是抓取邏輯有問題Python在線編譯執行
這裡有個百度圖片爬蟲:http://blog.csdn.net/qq_34844199/article/details/51468841,可以參考
Python+PhantomJS+selenium 可以解決你的煩惱
參考這篇文章:http://blog.chinaunix.net/uid-22414998-id-3692113.html?page=3
測試程式碼:
參考這個回答:
python爬蟲案例
或是這個教學影片:
如何使用Python 的requests 及BeautifulSoup4 完成淘寶爬蟲?
P.S. 建議發問前可以多爬爬文,可能答案早就在裡面囉!
用beautifulsoup很方便選取啊。
題主看下錯誤提示,抓取不成功總有原因的,看是IP被封還是抓取邏輯有問題
Python在線編譯執行
這裡有個百度圖片爬蟲:http://blog.csdn.net/qq_34844199/article/details/51468841,可以參考