beautifulsoup只能获得静态html，不能模拟界面操作。

你的需求，可以用selenium webdriver来实现。selenium webdriver可以模拟浏览器操作，比如你的需求，只要用webdriver的接口，找到下一页按钮的DOM节点，给它发送点击事件，就可以了。

直接对ajax的api爬数据就好了，你所说的爬的url，只是从用户角度来模拟的

你可以用nodejs先渲染页面，然后再进行解析渲染的页面。

我看了你提供的网站

发现点击分页他会向 http://www.ncbi.nlm.nih.gov/pubmed/ 发送一个post请求

form 参数如下

p$l:AjaxServer
portlets:id=relevancesortad:sort=;id=timelinead:blobid=NCID_1_16149236_130.14.18.34_9001_1423579985_273829824_0MetA0_S_MegaStore_F_1:yr=:term=(%222013%22%5BDate%20-%20Publication%5D%20%3A%20%222013%22%5BDate%20-%20Publication%5D);id=pmcommonsad:page=none;id=reldata:db=pubmed:querykey=1;id=searchdetails;id=recentactivity
load:yes
ncbi_phid:396905D24DA1BD3100000000002DE6E2

直接用开发者工具看浏览器发送的请求

上面几位提到的直接查看发起的请求，然后分析请求的规律，猜出请求的接口是如何设计的，这样的话，比爬取HTML页面更快，但是有一个问题，就是有可能人家接口的调用方式你不一定能完全猜测出来，为了更高的成功率（对于我的业务来讲，速度不是最主要的，虽然他也很重要），我使用过两种方式，可以爬取几乎任何网站任何形式的内容。

1. 基于开源的Chrome浏览器 + 定制的插件 + 服务器端控制程序。我的需求是需要让一个用户输入自己在某网站上面的用户名、密码，登录的时候还需要输入图片验证码或者输入手机验证码，对于我这种需求，不可能简单的使用爬取。所以，解决方法就用到的浏览器。

Chrome 浏览器用来成为我整个爬取的底层技术，我的插件则用来控制浏览器，服务器端发起一次爬取请求，插件收到之后，使用Chrome打开网页，然后直接抓取网页上面的验证码图片，如果我判断出网站是要求手机验证的，那么就直接点击一下发送验证码（插件直接发起一次点击事情），这个时候，服务器端则通知用户端输入（若是图片验证码，客户端也会直接显示出来），然后提交，插件将用户提交的数据填写到打开的网页中，点击提交。

因为网页就是浏览器打开的，所以，爬取任何数据都不是问题了。

1. 使用 Chromium OS，直接安装至服务器上面，我用的直接是二次开发 Chromium OS 系统，这样更难，全是效率和稳定性更高，现在还未完成。