Comment extraire uniquement le texte visible des pages Web avec BeautifulSoup ?

Comment extraire uniquement le texte visible des pages Web avec BeautifulSoup

Le Web scraping implique souvent la sélection de parties spécifiques du contenu d'une page Web, y compris le texte visible. BeautifulSoup, une bibliothèque de scraping Web populaire, peut être utilisée pour extraire uniquement le texte visible, à l'exclusion des éléments cachés tels que les commentaires et les scripts.

Question originale :

L'original La question cherche à isoler le texte visible d'une page Web, en excluant spécifiquement les balises de script, les commentaires HTML et tout autre contenu non visible. L'utilisateur souhaite récupérer le corps du texte principal et potentiellement quelques noms d'onglets, tout en évitant les éléments tels que CSS et JavaScript.

Réponse expliquée :

La réponse fournie exploite BeautifulSoup ainsi qu'un filtrage personnalisé pour répondre à cette demande. La fonction tag_visible() évalue si un élément donné appartient à un ensemble spécifique de types d'éléments invisibles (par exemple, style, script, head) ou s'il s'agit d'un commentaire HTML. Si tel est le cas, il renvoie False, indiquant que l'élément doit être exclu.

La fonction text_from_html() utilise la méthode BeautifulSoup.findAll() avec l'argument texte pour capturer tous les éléments de texte. Par la suite, il applique le filtre tag_visible() aux éléments de texte pour isoler ceux visibles. Enfin, il combine les textes visibles en une seule chaîne, produisant le résultat souhaité uniquement le texte visible de la page Web.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!