So extrahieren Sie alle Links aus einer Webseite mit Python

Um alle Links von einer Webseite zu extrahieren, ist die Verwendung von Pythons Anfragen und BeautifulSups der einfachste Weg, dies zu tun. Die Schritte lauten wie folgt: 1. Installieren Sie Abhängigkeiten: Anfragen und BeautifulSoup4; 2. Verwenden Sie Anfragen, um Seite HTML zu erhalten. 3.. Verwenden Sie BeautifulSoup, um alle Tags zu analysieren und zu finden. 4. Extrahieren Sie das HREF -Attribut jedes Tags; 5. Behandeln Sie optional relative Links und filtern Sie ungültige Links. 6. Sparen Sie optional die Ergebnisse oder weitere Verarbeitung. Der Beispielcode druckt alle Hyperlinks auf der aktuellen Seite. Wenn Sie eine höhere Leistung benötigen, können Sie die LXML XPath -Alternative verwenden, die zum Krabbeln einer großen Anzahl von Seiten geeignet ist. Der gesamte Prozess erfordert die Aufmerksamkeit für die Verarbeitung und Ausnahmen von Verbindungsformaten.

Um alle Links von einer Webseite zu extrahieren, ist die Verwendung von Python eine sehr direkte Art und Weise. Der Schlüssel ist, wie Sie den Seiteninhalt analysieren und href -Attribute in allen <a></a> Tags herausfinden.

Die Verwendung von Anfragen und BeautifulSoups ist der einfachste Weg, dies zu tun

Diese beiden Bibliotheken arbeiten zusammen, um HTML -Seiten leicht zu kriechen und zu analysieren. Der grundlegende Prozess ist: Verwenden Sie zuerst Anfragen, um den Webseiteninhalt zu erhalten, und verwenden Sie dann BeautifulSoup, um analysiert zu werden und schließlich alle Links zu finden.

Die Betriebsschritte sind ungefähr wie folgt:

• Installationsabhängigkeiten: requests und beautifulsoup4
• Initiieren Sie eine Anfrage, um die Seite HTML zu erhalten
• Verwenden Sie BeautifulSoup, um alle <a></a> Tags zu finden
• Extrahieren Sie das href -Attribut jedes Tags

Der Beispielcode lautet wie folgt:

 Anfragen importieren
Aus BS4 Import BeautifulSoup

url = 'https://example.com'
response = requests.get (URL)
Suppe = BeautifulSoup (Antwort.Text, 'html.parser')

Für Link in Suppe.find_all ('a'):
    href = link.get ('href')
    Wenn href:
        drucken (href)

Dadurch werden alle Hyperlinks auf der aktuellen Seite ausgedruckt. Wenn Sie in einer Datei speichern oder eine weitere Verarbeitung durchführen möchten, können Sie auch eine Logik hinzufügen.

Tipps zum Umgang mit relativen Links und Filtern ungültiger Links

Manchmal erhalten Sie relative Wege wie /about oder contact.html , die in eine vollständige URL gespleißt werden müssen. Sie können urljoin in urllib.parse verwenden, um dieses Problem zu lösen.

 von urllib.parse import urljoin

Base_url = 'https://example.com'
relative_href = '/über'

Absolute_url = urljoin (Base_url, relative_href)
print (Absolute_url) # Ausgabe https://example.com/about

Einige Links beginnen auch mit mailto: oder javascript: die keine "normalen" Links sind, die Sie extrahieren möchten. Sie können während der Extraktion ein einfaches Urteilsvermögen fällen, um sie zu überspringen:

 if href.startswith (('http: //', 'https: //')):
    drucken (href)

Oder strenger:

 Wenn href.startswith ('http') und ': //' in href:
    drucken (href)

Willst du schneller sein? Es kann mit LXML XPath erfolgen

Wenn Sie empfindlicher auf Leistung sind oder es gewohnt sind, Selektoren mit XPath zu schreiben, können Sie die lxml -Bibliothek verwenden, um die BeautifulSoup zu ersetzen. Es analysiert schneller und schreibt es ähnlich.

Nach der Installation können Sie es so verwenden:

 Anfragen importieren
von LXML importieren HTML

url = 'https://example.com'
response = requests.get (URL)
tree = html.fromstring (Antwort.Content)

# Verwenden Sie XPath, um alle Hrefs eines Tags zu finden
hrefs = tree.xpath ('// a/@href')

für href in hrefs:
    drucken (href)

Diese Methode ist bei einer großen Anzahl von Seiten effizienter und ist besonders für automatisierte Skripte oder Datenerfassungsaufgaben geeignet.

Grundsätzlich sind dies die Methoden, die von Ihren Gewohnheiten abhängt. Anfragen BeautifulSoup ist die freundlichste Kombination für Anfänger, während LXML für fortschrittliche Benutzer besser geeignet ist. Solange Sie auf die Verarbeitung von Link -Format und einige gemeinsame Ausnahmen achten, ist der gesamte Prozess tatsächlich nicht kompliziert, aber es ist leicht, Details zu ignorieren.

Das obige ist der detaillierte Inhalt vonSo extrahieren Sie alle Links aus einer Webseite mit Python. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!