python - 请教如何爬取简书某一时间段发帖。
黄舟
黄舟 2017-05-18 10:55:49
0
1
726

我想爬取简书在某一时间段的帖子,比如 2013 年 4 月 13 — 2013 年 5 月 13

想尝试的思路如下:

  • 百度

    • 利用百度的 site 语法

    • 限定日期

    • 观察大约有 70 个帖子

  • Google

    • google 的 site 语法

    • 限定日期

    • 观察大约有 120 个帖子

实现:用 Python 直接请求搜索的结果,然后把得到的网址重定向一下得到真正的简书网址,然后对真正的网址进行请求

问题

  1. 用这种方法得到的结果是否靠谱?请问有更靠谱的方法吗?

  2. 用 Google 还是用百度呢?

黄舟
黄舟

人生最曼妙的风景,竟是内心的淡定与从容!

全部回复(1)
过去多啦不再A梦

为了全面,你可以把主流的搜索引擎接口都拿来用,不一定要限制在某个搜索引擎接口上。我们有队友搜索某些话题就是这么干的,因为有的网站站内没提供满足需求的搜索方式,这个时候也只有借助搜索引擎了。不过通过搜索引擎搜索的方式信息可能不全面,robots协议规定了不能搜索的,搜索引擎不会收录

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板