用的phpcrawl框架，
第1步是设置开始地址；
第2步是设置要下载的内容类型：text/html；
第3步是用正则表达式设置要扩展的url规则；
第4步就是开始抓取，抓取符合第3步url规则的网址的内容。
第5步是用正则表达式或dom解析工具解析自己需要的内容。

问题是：
有些内容是ajax请求，请求地址是javascript写的，已经拼接好了。那么，这个地址应该怎么样才可以让这个爬虫去执行？放在第3步的扩展地址不行，因为是自己拼接的，源代码中没有这个地址，匹配不到。

回复内容：

用的phpcrawl框架，
第1步是设置开始地址；
第2步是设置要下载的内容类型：text/html；
第3步是用正则表达式设置要扩展的url规则；
第4步就是开始抓取，抓取符合第3步url规则的网址的内容。
第5步是用正则表达式或dom解析工具解析自己需要的内容。

问题是：
有些内容是ajax请求，请求地址是javascript写的，已经拼接好了。那么，这个地址应该怎么样才可以让这个爬虫去执行？放在第3步的扩展地址不行，因为是自己拼接的，源代码中没有这个地址，匹配不到。

直接使用拼接后的地址，然后查看该AJAX是GET还是POST请求，设置好参数后再做一次curl请求，然后再解析数据。