Conseils avancés de BeautifulSoup: Extraction des éléments HTML et remplissage d'espace réservé avec jugement conditionnel

 <div class="section">
        <a class="site" href="www.example1.com"> site1 </a>                   
</div>
<div class="section">
        <a class="bogus" href="www.idontneed1.com"> idontneedthis1 </a>               
</div>
<div class="section">
        <a class="site" href="www.example2.com"> site2 </a>                   
</div>
<div class="section">
        <a class="site" href="www.example3.com"> site3 </a>                   
</div>
<div class="section">
        <a class="bogus" href="www.idontneed2.com"> idontneedthis2 </a>                   
</div>

 [{"Site": "www.example1.com"}, {"Site": ""}, {"Site": "www.example2.com"}, {"Site": "www.example3.com"}, {"Site": ""}]

 De BS4 Import BeautifulSoup

html_doc = "" "
<div class="section">
        <a class="site" href="www.example1.com"> site1 </a>                   
</div>
<div class="section">
        <a class="bogus" href="www.idontneed1.com"> idontneedthis1 </a>               
</div>
<div class="section">
        <a class="site" href="www.example2.com"> site2 </a>                   
</div>
<div class="section">
        <a class="site" href="www.example3.com"> site3 </a>                   
</div>
<div class="section">
        <a class="bogus" href="www.idontneed2.com"> idontneedthis2 </a>                   
</div>
"" "

Soup = BeautifulSoup (html_doc, 'html.parser')

# Utilisez le sélecteur CSS pour sélectionner la section de tous les éléments enfants directs <a>
# Créez ensuite la liste des résultats via la compréhension de la liste et le jugement conditionnel Résultat = [
    {"Site": "" if "Bogus" dans a.get ("class", []) else a ["href"]}
    pour a in Soup.Select (". Section> A")
]]

Imprimer (résultat)</a>

1. Soup.Select (". Section> A") :
   • Ce sélecteur CSS est la clé de la solution. Il sélectionne les balises de tous les éléments enfants directs des éléments div de class = "section". Cela signifie que peu importe si le nom de classe de la balise est site ou faux, il sera sélectionné tant qu'il satisfera cette structure. De cette façon, nous pouvons traverser toutes les balises qui doivent être traitées sans manquer aucune entrée correspondant à une section.
2. pour a in Soup.Select (". Section> A") :
   • Nous traversons toutes les balises trouvées à travers le sélecteur ci-dessus. Chacun A représente un objet indépendant Tag BeautifulSoup.
3. A.get ("Class", []) :
   • Nous utilisons A.get ("Class", []) pour obtenir en toute sécurité l'attribut de classe de la balise . L'avantage de la méthode get () est que si la propriété de classe n'existe pas, il renvoie une valeur par défaut (voici une liste vide []), au lieu de lancer une clé de vue. Cela augmente la robustesse du code.
4. "faux" dans a.get ("classe", []) :
   • Il s'agit d'un jugement conditionnel. Il vérifie si la liste de noms de classe TAG actuelle contient la chaîne "fausse".
5. "" If "Bogus" dans A.get ("class", []) else a ["href"] :
   • Il s'agit d'une expression conditionnelle (opérateur ternaire) dans Python.
     • Si la condition "faux" dans a.get ("classe", []) est vraie (c'est-à-dire la balise contient la classe de faux), l'expression renvoie "" (chaîne vide) comme espace réservé.
     • Si la condition est fausse (c'est-à-dire que la balise ne contient pas la classe fausse, ce qui signifie généralement que c'est la classe de site que nous voulons), l'expression renvoie un ["href"], qui est d'extraire la valeur d'attribut HREF de la balise .
6. {"site": ...} :
   • Enfin, chaque itération de boucle crée un dictionnaire avec le "site" clé et la valeur est le résultat jugé en fonction des conditions ci-dessus. Tous ces dictionnaires sont collectés dans une liste pour former la sortie finale.

Résultat de sortie:

 [{'Site': 'www.example1.com'}, {'Site': ''}, {'Site': 'www.example2.com'}, {'Site': 'www.example3.com'}, {'Site': ''}]

5. Flexibilité et évolutivité

Cette méthode a une flexibilité extrêmement élevée et peut facilement s'adapter à différents besoins analytiques:

• Modifiez le jugement de la condition: vous pouvez modifier la condition au besoin. Par exemple, vérifiez si la balise contient un texte spécifique, s'il existe un autre attribut, ou si son élément parent satisfait une condition spécifique.

   # Exemple: si l'attribut HREF est vide, insérez "n / a"
  # {"site": "n / a" sinon a.get ("href") else a ["href"]}
  
  # Exemple: Extraire HREF Si le contenu texte contient "usineThis", sinon il est vide # {"site": a ["href"] si "utisthis" dans a.get_text () else ""}

• Extraire différents attributs ou texte: En plus de l'attribut HREF, vous pouvez également extraire le contenu texte de la balise (a.get_text ()), d'autres attributs (a ["id"]) ou leurs éléments enfants.

• Gérer les structures plus complexes: s'il ne peut pas y avoir de balise à l'intérieur de la section, et vous souhaitez toujours générer une entrée pour chaque section, vous devez d'abord parcourir la section, puis rechercher la balise A à chaque section et faire des jugements conditionnels.

   # Exemple: si la section peut ne pas avoir de balise result_complex = []
  pour section_div dans Soup.Select (". Section"):
      a_tag = section_div.find ('a') # Trouvez la balise A dans la section actuelle si a_tag:
          # Si une balise est trouvée, faites un jugement conditionnel result_complex.append ({"Site": "" if "Bogus" dans a_tag.get ("class", []) else a_tag ["href"]})
      autre:
          # S'il n'y a pas de balise, insérez l'espace réservé par défaut result_complex.append ({"site": ""}) 
  print (result_complex)

6. Choses à noter

• Précision du sélecteur: assurez-vous que votre sélecteur CSS est suffisamment précis pour sélectionner tous les éléments que vous souhaitez traiter, pas plus ou moins. Un sélecteur trop large peut contenir des éléments non pertinents, et un sélecteur trop étroit peut être manqué.
• Sécurité de l'attribut: Lors de l'accès à l'attribut d'un élément, tel qu'un ["HREF"] ou une [classe "], si l'attribut peut ne pas exister, il est préférable d'utiliser a.get (" attribut_name ", default_value) pour éviter Keyerror. Par exemple, A.get ("href") ne renverra aucune lorsque HREF n'existe pas.
• Type de données: assurez-vous que le type de données de l'espace réservé est compatible avec le type de données que vous attendez d'extraire, ou peut être correctement identifié et converti dans le traitement ultérieur.

7. Résumé

En combinant intelligemment le sélecteur CSS de BeautifulSoup et les expressions conditionnelles dans les compréhensions de la liste Python, nous pouvons construire une logique d'analyse HTML puissante et flexible. Cette méthode peut non seulement extraire avec précision les données cibles, mais également insérer automatiquement les espaces réservés lorsque des conditions spécifiques ne sont pas remplies, conservant ainsi l'intégrité de la structure des données de sortie et sa correspondance avec la structure HTML d'origine, améliorant considérablement la robustesse et l'efficacité du traitement des données.