网页爬虫 - java爬虫如何解析JavaScript
大家讲道理
大家讲道理 2017-04-17 17:29:23
0
6
402

用java爬取JavaScript动态生成的页面,怎么解析js?用rhino?phantomjs?还是其他的什么?

大家讲道理
大家讲道理

光阴似箭催人老,日月如移越少年。

répondre à tous(6)
Peter_Zhu

phantomJS le peut.

迷茫

À moins qu'il ne s'agisse d'une logique frontale très complexe (par exemple, il y a beaucoup de logique pour calculer les jetons), il n'est pas recommandé de simuler l'exécution de js
S'il s'agit de données chargées dynamiquement, ce ne serait pas être plus simple pour obtenir directement json

刘奇

Il existe un package jar pour analyser les scripts js, mais je ne me souviens pas du package spécifique.

大家讲道理

En ce qui concerne les robots d'exploration, il n'est pas conseillé de simuler directement l'analyse Javascript du navigateur. Vous pouvez directement capturer et générer le json de la page web correspondante pour y parvenir.

迷茫

Si vous utilisez Java, vous pouvez essayer WebDriver de Selinium. Si vous utilisez js, utilisez simplement phantomjs

.
大家讲道理

Se référer à ce document
Comment crawler les données générées dynamiquement par JS ? http://doc.shenjianshou.cn/de...

Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal