Solution au problème des données de la page Web rampantes avec des marionnettes pour retourner les tableaux vides

Cet article vise à résoudre le problème du renvoi d'un tableau vide lors des données de la page Web rampant à l'aide de marionnetteer. En analysant des raisons courantes et en fournissant des exemples de code optimisés, nous pouvons aider les développeurs à ramper les données du site Web cible plus efficacement et à éviter les résultats rampants lorsque le résultat rampant est vide. Cet article se concentrera sur les liens clés tels que l'optimisation du sélecteur, le chargement des éléments de page et l'extraction des données.

Analyse des problèmes

Lorsque vous utilisez Puppeteer pour les données de la page Web rampant, il y a généralement plusieurs raisons de retourner un tableau vide:

1. Erreur de sélecteur: le sélecteur CSS ou l'expression XPATH est incorrect, ce qui n'a pas pu être trouvé l'élément cible.
2. Page non entièrement chargée: Lors de l'exécution d'une opération de rampe, la page n'a peut-être pas été entièrement chargée, ce qui entraîne l'élément non présent.
3. Contenu dynamique: les données cibles sont chargées dynamiquement via JavaScript, et Puppeteer doit attendre que les données soient chargées.
4. Les éléments sont supprimés ou masqués: l'élément cible est supprimé ou caché avant d'être rampé, ce qui entraîne des données non récupérées.
5. Erreur de logique de boucle: lorsque le bouclage à travers les éléments, le jugement de l'index ou de la condition est mauvais, ce qui n'a pas réussi à extraire correctement toutes les données.

Solution

En réponse aux problèmes ci-dessus, les mesures suivantes peuvent être prises:

1. Sélecteur optimisé: utilisez des sélecteurs plus précis pour assurer un positionnement unique de l'élément cible. Vous pouvez utiliser les outils de développeur du navigateur pour aider à écrire des sélecteurs.
2. Attendez que la page charge: utilisez la page.WaitForselector () ou Page.WaitForttimeout () et d'autres méthodes pour vous assurer que l'élément de page est chargé avant d'effectuer l'opération rampante.
3. Processus Contenu dynamique: utilisez Page.WaitForFunction () et d'autres méthodes pour attendre que les données dynamiques se chargent.
4. Vérifiez si l'élément existe: Avant de saisir l'élément, utilisez la méthode de la page. $ () Pour vérifier si l'élément existe pour éviter les erreurs causées par la non-existence de l'élément.
5. Optimiser la logique de la boucle: vérifiez soigneusement l'index de la boucle et le jugement conditionnel pour vous assurer que tous les éléments cibles peuvent être correctement traversés.

Exemple de code

Voici un exemple de code de marionnet optimisé pour ramper les noms de bébé et les significations sur les pages Web.

 const puppeteer = require ("puppeteer");
const Express = require ("express");
const CORS = require ("CORS");
const app = express ();
app.use (Cors ());
Soit les données = [];

(async () => {
  const Browser = Await Puppeteer.Launch ({
    Sans tête: vrai,
    DefaultViewport: null,
  });
  const page = attendre le navigateur.newPage ();

  pour (Soit PageNumber = 1; PageNumber  i`);

    // Boucle à travers l'élément pour (Soit i = 0; i <nameelements.length i laissez fullname="" let nay="AWAIT" page.evalu> El.TextContent, NameElements [i]);
      Soit Signification = Await Page.Evaluate (El => El.TextContent, SignificationElements [i]);
      fullname = `$ {name.split (/ [\ n \ t] /). join (''). Trim ()}, $ {signifiant}`;
      data.push ({fullName});
    }
  }

  console.log (données);
  attendre le navigateur.close ();
}) ();

app.get ("/", (req, res) => {
  res.status (200) .json (données);
});

app.Listen (3000, () => {
  console.log ("application est en cours d'exécution ...");
});</nameelements.length>

Explication du code:

• Optimisation du sélecteur: utilisez A.NSG__NAME et DIV.NSG__MEAning> I pour localiser le nom et le sens des éléments plus précisément.
• Supprimer l'action de clic inutile: supprimer l'action contextuelle de clic car cela n'a rien à voir avec le rampe de données.
• Traversion en boucle: Utilisez pour Loop pour faire boucler à travers tous les éléments de nom et de sens et les combiner en données complètes.
• Traitement de texte: utilisez Split (/ [\ n \ t] /). JOIN (''). Trim () pour nettoyer les données de texte et supprimer les pauses, les onglets et les espaces.

Choses à noter

• Mécanisme anti-climat du site Web: certains sites Web peuvent adopter des mécanismes anti-climat, tels que les codes de vérification, les restrictions IP, etc. Il est nécessaire de prendre des contre-mesures correspondantes basées sur des conditions réelles, telles que l'utilisation de l'IP proxy, la configuration de l'utilisateur, etc.
• Conformez-vous aux règles du site Web: lorsque les données de la page Web rampantes, vous devez respecter le protocole Robots.txt du site Web pour éviter une rampe excessive pour éviter de faire face au site Web.
• Nettoyage des données: les données capturées peuvent contenir du bruit et doivent être nettoyées et traitées pour obtenir des informations efficaces.

Résumer

En optimisant les sélecteurs, en attendant le chargement des pages, en traitement des contenus dynamiques, en vérifiant si les éléments existent et en optimisant la logique de boucle, le problème des données de page Web de marionnettiste et le rendement des tableaux vides peuvent être efficacement résolus. Dans les applications réelles, les ajustements et les optimisations doivent être effectués en fonction de circonstances spécifiques afin d'obtenir des résultats rampants idéaux.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!