javascript - le nœud explore Weibo
仅有的幸福
仅有的幸福 2017-06-30 10:00:08
0
1
997

Je suis nouveau sur Node et je souhaite écrire un robot pour explorer les commentaires Sina Weibo, mais j'ai trouvé que la page est générée dynamiquement par JS et ne peut pas être explorée avec le module http, j'ai donc utilisé phantomjs pour l'explorer (j'ai entendu dire que ce serait le cas). être plus lent, alors je l'ai exécuté pendant près de 15 minutes, c'est trop lent, je ne sais pas si je l'ai mal écrit), mais cela ne fonctionne toujours pas. Existe-t-il un moyen d'explorer des pages Web similaires à Sina Weibo ?

let page=require("webpage").create();
let url="http://weibo.com/1713926427/Etq2WnSiR?filter=hot&root_comment_id=0&type=comment";
/*page.settings = {
    javascriptEnabled: true,
    loadImages: false,
    webSecurityEnabled: false,
    userAgent: 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.137 Safari/537.36 LBBROWSER'
};*/
page.open(url,(status)=>{
    console.log("Status:"+status);
    if(status=="success"){
        let val = page.evaluate(()=>{
            var list_box=document.querySelector(".list_box");
            console.log(list_box);
            return list_box
        });
        console.log(val)
    }else{
        console.log("failed")
    }
    phantom.exit();
});
仅有的幸福
仅有的幸福

répondre à tous(1)
扔个三星炸死你

J'ai écrit sur l'exploration de Weibo. Il y a deux idées

.
  1. Si vous regardez attentivement, il devrait y avoir une interface pour obtenir les données correspondantes, puis utiliser des expressions régulières pour les faire correspondre

  2. Weibo fournit une interface API de développeur, même si elle est plus difficile à utiliser

Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal