python - 如何使用scrapy抓取某宝数据?
巴扎黑
巴扎黑 2017-04-17 14:25:54
0
1
409

例如想抓取如下页面的数据
http://s.taobao.com/search?q=%BC%A1%CB%E1&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=1.72745%2053.1997520841.1&initiative_id=tbindexz_20150209
但是F12打开Chrome的开发者工具,在console中想查看页面的一些信息,例如:

$x('//p[@class="item"]')

想使用上面的xpath查看所有商品的信息,但是什么也没有输出,使用scrapy写了一个抓取页面item列表的爬虫也抓取不到,怀疑是页面是用JS动态生成的。
不知道有没有什么好的有关抓取淘宝数据的资源或者文章推荐,多谢了!

巴扎黑
巴扎黑

全部回复(1)
Ty80

在结果页右键查看一下源代码,scrapy只能得到它。

而你在控制台看到的是js执行后的生成的dom。

如果想分析执行渲染后的页面,推荐楼主研究一下selenium和phantomjs。

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板