Je suis nouveau sur Node et je souhaite écrire un robot pour explorer les commentaires Sina Weibo, mais j'ai trouvé que la page est générée dynamiquement par JS et ne peut pas être explorée avec le module http, j'ai donc utilisé phantomjs pour l'explorer (j'ai entendu dire que ce serait le cas). être plus lent, alors je l'ai exécuté pendant près de 15 minutes, c'est trop lent, je ne sais pas si je l'ai mal écrit), mais cela ne fonctionne toujours pas. Existe-t-il un moyen d'explorer des pages Web similaires à Sina Weibo ?
let page=require("webpage").create();
let url="http://weibo.com/1713926427/Etq2WnSiR?filter=hot&root_comment_id=0&type=comment";
/*page.settings = {
javascriptEnabled: true,
loadImages: false,
webSecurityEnabled: false,
userAgent: 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.137 Safari/537.36 LBBROWSER'
};*/
page.open(url,(status)=>{
console.log("Status:"+status);
if(status=="success"){
let val = page.evaluate(()=>{
var list_box=document.querySelector(".list_box");
console.log(list_box);
return list_box
});
console.log(val)
}else{
console.log("failed")
}
phantom.exit();
});
J'ai écrit sur l'exploration de Weibo. Il y a deux idées
.Si vous regardez attentivement, il devrait y avoir une interface pour obtenir les données correspondantes, puis utiliser des expressions régulières pour les faire correspondre
Weibo fournit une interface API de développeur, même si elle est plus difficile à utiliser