距开课0天0时0分-10247005秒
巴扎黑2017-04-10 14:28:08 0 7 150
[JavaScript讨论组]举报回复话题 ↕
我想抓取网站上的内容，但是好多内容都js生成的，请问有没有能够解析js的库方便抓取页面js解析后的html库啊？比如商城产品信息，QQ空间内容等。不管什么语言，能够快速开发就行，谢谢
7
0
分享
大家讲道理 2017-04-10 14:30:087楼
这中不仅仅是解析 js，还要浏览器内核的！
推荐几个：
赞 +0添加回复
大家讲道理 2017-04-10 14:30:086楼
感觉你的问题可以不一定要那么重量级的东西的。
你要抓的页面内容，你知道它是从 js 来的，那么这个 js 是从哪里来的？可能是页面本身有的，也可能是 ajax 的 json 。
找出包含你需要的内容的这些 js ，然后是 json 的话用一个 json parser ，是 js 的话简单的也可以用正则提取。
迷茫 2017-04-10 14:30:085楼
phantomJs maybe the best solution for you, also, casperJs is based on phantomJs that can be a useful tool to grab webpage content created by javascript or ajax
阿神 2017-04-10 14:30:084楼
試試 node.js
PHP中文网 2017-04-10 14:30:083楼
从你的描述听起来，是想抓页面，但是页面里内容是JS生产的，你用抓页面的方法，抓下来一个空壳子，啥也没有。对吧？
这样的话，我建议你使用“无头浏览器”，首推楼上说的PhantomJS，它本质上就是个浏览器，只是没有用户界面而已，通过编程来调用，最后可以和你的外部代码产生一些交互，给你返回（最终生成的）HTML、给你截图等等。
怪我咯 2017-04-10 14:30:082楼
直接用nodejs，然后执行返回内容就妥了
PHP中文网 2017-04-10 14:30:081楼
我一般在这种情况下，都是自己把js代码看一下，找到需要的地方然后自己仿照实现出来，而且java下貌似有一个库是可以执行js代码的，比如我在做新浪微博模拟登录的时候就是直接将网站js中的加密函数提取出来，然后在代码中执行获得结果，最后模拟请求就好了
大家讲道理 2017-04-10 14:30:087楼
这中不仅仅是解析 js，还要浏览器内核的！
推荐几个：
赞 +0添加回复
大家讲道理 2017-04-10 14:30:086楼
感觉你的问题可以不一定要那么重量级的东西的。
你要抓的页面内容，你知道它是从 js 来的，那么这个 js 是从哪里来的？可能是页面本身有的，也可能是 ajax 的 json 。
找出包含你需要的内容的这些 js ，然后是 json 的话用一个 json parser ，是 js 的话简单的也可以用正则提取。
赞 +0添加回复
迷茫 2017-04-10 14:30:085楼
phantomJs maybe the best solution for you, also, casperJs is based on phantomJs that can be a useful tool to grab webpage content created by javascript or ajax
赞 +0添加回复
阿神 2017-04-10 14:30:084楼
試試 node.js
赞 +0添加回复
PHP中文网 2017-04-10 14:30:083楼
从你的描述听起来，是想抓页面，但是页面里内容是JS生产的，你用抓页面的方法，抓下来一个空壳子，啥也没有。对吧？
这样的话，我建议你使用“无头浏览器”，首推楼上说的PhantomJS，它本质上就是个浏览器，只是没有用户界面而已，通过编程来调用，最后可以和你的外部代码产生一些交互，给你返回（最终生成的）HTML、给你截图等等。
赞 +0添加回复
怪我咯 2017-04-10 14:30:082楼
直接用nodejs，然后执行返回内容就妥了
赞 +0添加回复
PHP中文网 2017-04-10 14:30:081楼
我一般在这种情况下，都是自己把js代码看一下，找到需要的地方然后自己仿照实现出来，而且java下貌似有一个库是可以执行js代码的，比如我在做新浪微博模拟登录的时候就是直接将网站js中的加密函数提取出来，然后在代码中执行获得结果，最后模拟请求就好了
赞 +0添加回复