Mit welcher Software schreiben Sie Crawler in Python?

Wenn Sie Programmieren lernen, dann sind „Crawler“ definitiv Dinge, die Sie nicht ignorieren können. Welche Tools benötigen Sie also, bevor Sie Python-Crawler lernen?

Betriebsumgebung für die Codebearbeitung: (empfohlenes Lernen: Python-Video-Tutorial)

Persönlich Wir empfehlen natürlich auch die mit Python gelieferte PyCharm Community Edition und Notepad++, sofern Sie damit vertraut sind.

F12-Entwicklertools

Schauen Sie sich den Quellcode an: Finden Sie schnell die Elementanalyse xpath: 1. Hier wird der Google-Browser empfohlen. Sie können mit der rechten Maustaste auf den Quellcode klicken Schnittstelle zum Anzeigen

Paketerfassungstool

Empfehlen Sie httpfox, ein Plug-in für den Firefox-Browser. Es ist besser als das F12-Tool, das mit Google Firefox geliefert wird kann den Paketempfang und -versand der Website leicht überprüfen.

ist ein absoluter Pfad. Wenn Sie auf einige dynamisch generierte Symbole stoßen (häufig sind darunter Schaltflächen zum Umblättern von Listen usw.), ist der absolute Pfad wahrscheinlich Um Fehler zu verursachen, wird empfohlen, sich bei der eigentlichen Analyse nur an die folgende Abbildung zu erinnern. Es scheint, dass dies die Syntax der frühen Version ist von xpath. Es ist derzeit mit einigen Modulen nicht kompatibel (z. B. Scrapy). Es ist besser, es zu löschen, um Fehler zu vermeiden.

Testtool für reguläre Ausdrücke

Weitere technische Artikel zum Thema Python finden Sie in der Spalte Python-Tutorial

Das obige ist der detaillierte Inhalt vonMit welcher Software schreiben Sie Crawler in Python?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!