比如下面这个网站:
http://www.ncbi.nlm.nih.gov/pubmed?term=%28%222013%22%5BDate%20-%20Publication%5D%20%3A%20%222013%22%5BDate%20-%20Publication%5D%29
筛选了2013年发表的论文。
1.第一页只显示了20篇,总共有1132539篇
2.我点击next后,网页显示的是第二页的内容。这时url会变成http://www.ncbi.nlm.nih.gov/pubmed
3.再点击next,显示第三页的内容,这时url还是http://www.ncbi.nlm.nih.gov/pubmed
......
而如果你复制这个地址:http://www.ncbi.nlm.nih.gov/pubmed,浏览器并不会跳到第2/3/4...页。
我咨询了一个同学,他说这是用ajax处理的,但具体如何爬取剩下的内容他也不知道。
那么如何爬取所有的内容?(当然第一页的内容很简单,我已经爬取出来了)
先谢谢各位了。
ps:我使用的是beautifulsoup
+requests
beautifulsoup只能获得静态html,不能模拟界面操作。
你的需求,可以用selenium webdriver来实现。selenium webdriver可以模拟浏览器操作,比如你的需求,只要用webdriver的接口,找到下一页按钮的DOM节点,给它发送点击事件,就可以了。
直接对ajax的api爬数据就好了,你所说的爬的url,只是从用户角度来模拟的
你可以用nodejs先渲染页面,然后再进行解析渲染的页面。
我看了你提供的网站
发现点击分页他会向 http://www.ncbi.nlm.nih.gov/pubmed/ 发送一个post请求
form 参数如下
直接用开发者工具看浏览器发送的请求
上面几位提到的直接查看发起的请求,然后分析请求的规律,猜出请求的接口是如何设计的,这样的话,比爬取HTML页面更快,但是有一个问题,就是有可能人家接口的调用方式你不一定能完全猜测出来,为了更高的成功率(对于我的业务来讲,速度不是最主要的,虽然他也很重要),我使用过两种方式,可以爬取几乎任何网站任何形式的内容。
Chrome 浏览器用来成为我整个爬取的底层技术,我的插件则用来控制浏览器,服务器端发起一次爬取请求,插件收到之后,使用Chrome打开网页,然后直接抓取网页上面的验证码图片,如果我判断出网站是要求手机验证的,那么就直接点击一下发送验证码(插件直接发起一次点击事情),这个时候,服务器端则通知用户端输入(若是图片验证码,客户端也会直接显示出来),然后提交,插件将用户提交的数据填写到打开的网页中,点击提交。
因为网页就是浏览器打开的,所以,爬取任何数据都不是问题了。