登录

javascript - superagent爬取网站出现重定向问题

superagent爬网页,遇到重定向,拿不到重定向后的响应体,该如何解决,如何获取重定向后的网页

我想获取501页面的res,但是他跳转到37018页面,导致我拿到501页面的空res。

测试了爬取不到的网页,发现有2种情况

  1. 一开始进入网页响应码是200,过一小会刷新变成304

  2. 一进入响应码从301重定向到200,过一小会刷新变成304

测试了能爬取到的网页,发现有2种情况

  1. 一进入响应码从301重定向到200,过一小会刷新变成304

  2. 一开始进入网页响应码是200,过一小会刷新变成304

啊,我擦,那就没什么区别啦,小白不知道这跟我爬不到内容有没有关系,orz

再再补充

问题不在重定向,而在于我的正则表达式匹配问题

# Node.js
迷茫 迷茫 2253 天前 561 次浏览

全部回复(1) 我要回复

  • 淡淡烟草味

    淡淡烟草味2017-05-31 10:40:19

    你都不看官方文档的吗?

    • Following redirects

    By default up to 5 redirects will be followed, however you may specify
    this with the res.redirects(n) method:

    request
      .get('/some.png')
      .redirects(2)
      .end(callback);

    回复
    0
  • 取消 回复 发送