http://www.newrank.cn/public/...
如何模拟搜索请求得到返回的json数据
没有返回数据 请问 怎么解决这种情况
有很多种情况会导致这样的结果, 比较常见的就是, 请求头的内容没有包含服务器需要信息, 或者是cookies里面的内容, 没有包含服务器需要的信息, 所以被服务器判断为爬虫, 所以无法取得正常的结果. 你可以试下将浏览器的请求头和cookies分别拷贝到你的程序中再去请求, 如果还是不行, 只能用类似fiddler这样的工具再做细致的分析了
请求头
cookies
fiddler
有些请求是需要Referer才能请求到数据的,或者是有些是需要验证cookis 这些你需要查看下之前成功的案例是否有这些条件的限制导致的!
有很多种情况会导致这样的结果, 比较常见的就是,
请求头
的内容没有包含服务器需要信息, 或者是cookies
里面的内容, 没有包含服务器需要的信息, 所以被服务器判断为爬虫, 所以无法取得正常的结果. 你可以试下将浏览器的请求头
和cookies
分别拷贝到你的程序中再去请求, 如果还是不行, 只能用类似fiddler
这样的工具再做细致的分析了有些请求是需要Referer才能请求到数据的,或者是有些是需要验证cookis 这些你需要查看下之前成功的案例是否有这些条件的限制导致的!