欢迎选择我的课程,让我们一起见证您的进步~~
通过仔细分析终于找到了。本来以为淘宝为了限制爬虫,设置了一些算法加密这几个数字,其实没有。
首先,jsonp152中这个152是没有意义的,是一个跟发送请求时间有关的数值,但是对于我们来说并没有影响。你随便输入一个数字,比如callback=jsonp122返回的就是jsonp122("{data:...}"),发送请求时随意发就是了,它是一个随机数。
其次,12133771151是从发送"https://tianziyujushangcheng.taobao.com/search.htm"返回的页面中提取出来的。
大概过程就是,发送https://tianziyujushangcheng....然后浏览器解析返回页面中的一些js文件,再发送https://tianziyujushangcheng....这个请求,取回商品信息。所以直接爬取店铺首页是爬取不到具体的商品信息的,要分析整个网络请求,找到这个xhr请求,才能获取到想要的信息。
通过仔细分析终于找到了。本来以为淘宝为了限制爬虫,设置了一些算法加密这几个数字,其实没有。
首先,jsonp152中这个152是没有意义的,是一个跟发送请求时间有关的数值,但是对于我们来说并没有影响。你随便输入一个数字,比如callback=jsonp122返回的就是jsonp122("{data:...}"),发送请求时随意发就是了,它是一个随机数。
其次,12133771151是从发送"https://tianziyujushangcheng.taobao.com/search.htm"返回的页面中提取出来的。
大概过程就是,发送https://tianziyujushangcheng....然后浏览器解析返回页面中的一些js文件,再发送https://tianziyujushangcheng....这个请求,取回商品信息。所以直接爬取店铺首页是爬取不到具体的商品信息的,要分析整个网络请求,找到这个xhr请求,才能获取到想要的信息。