Wie macht man einen guten Webcrawler?

Das Wesen von Webcrawlern besteht eigentlich darin, Daten aus dem Internet zu „stehlen“. Durch Webcrawler können wir die benötigten Ressourcen sammeln, aber auch eine unsachgemäße Verwendung kann zu ernsthaften Problemen führen.

Daher müssen wir beim Einsatz von Webcrawlern in der Lage sein, „auf die richtige Art und Weise zu stehlen“.

Webcrawler werden hauptsächlich in die folgenden drei Kategorien unterteilt:

1. Kleiner Maßstab, kleine Datenmenge und unempfindliche Crawling-Geschwindigkeit; Dafür können wir die Requests-Bibliothek verwenden, um Webcrawler zu implementieren, die hauptsächlich zum Crawlen von Webseiten verwendet werden.

2 Kann die Scrapy-Bibliothek verwenden, die hauptsächlich zum Crawlen von Websites oder einer Reihe von Websites verwendet wird das gesamte Netzwerk, normalerweise zum Aufbau des gesamten Netzwerks Suchmaschinen wie Baidu, Google-Suche usw.

Von diesen drei Typen ist der erste der häufigste, und die meisten von ihnen sind kleine Crawler, die Webseiten crawlen.

Es gibt auch viele Einwände gegen Webcrawler. Da Webcrawler ständig Anfragen an den Server senden, beeinträchtigt dies die Serverleistung, verursacht Belästigungen für den Server und erhöht die Arbeitsbelastung der Website-Betreuer.

Da die Daten auf dem Server Eigentumsrechte haben, birgt die gewinnorientierte Nutzung der Daten rechtliche Risiken. Darüber hinaus können Webcrawler auch zu Datenschutzverletzungen bei den Benutzern führen.

Kurz gesagt, das Risiko von Webcrawlern ergibt sich hauptsächlich aus den folgenden drei Punkten:

Leistung des Servers Belästigung
Rechtliche Risiken auf inhaltlicher Ebene
Verletzung der Privatsphäre
Daher Web Crawler Die Nutzung erfordert bestimmte Regeln.

In der Praxis haben einige größere Websites den Webcrawlern entsprechende Einschränkungen auferlegt, und Webcrawler gelten auch im gesamten Internet als standardisierbare Funktion.

Für allgemeine Server können wir Webcrawler auf zwei Arten einschränken: 1. Wenn der Eigentümer der Website über bestimmte technische Fähigkeiten verfügt Begrenzen Sie Webcrawler durch Quellenüberprüfung.

Die Quellenüberprüfung führt im Allgemeinen zu Einschränkungen durch die Beurteilung von User-Agent. Dieser Artikel konzentriert sich auf den zweiten Typ.

2. Verwenden Sie das Robots-Protokoll, um Webcrawlern die Regeln mitzuteilen, die sie einhalten müssen, welche Regeln gecrawlt werden können und welche nicht, und um von allen Crawlern die Einhaltung dieses Protokolls zu verlangen.

Die zweite Methode besteht darin, in Form einer Bekanntmachung darüber zu informieren, dass die Robots-Vereinbarung zwar empfohlen, aber nicht bindend ist, es aber möglicherweise rechtliche Risiken gibt. Durch diese beiden Methoden werden im Internet wirksame moralische und technische Beschränkungen für Webcrawler gebildet.

Dann

Im Internet verfügen einige Websites nicht über das Robots-Protokoll und alle Daten können gecrawlt werden. Die überwiegende Mehrheit der Mainstream-Websites unterstützt jedoch das Robots-Protokoll und unterliegt den entsprechenden Einschränkungen Einführung in die grundlegende Syntax des Robots-Protokolls.

Robots-Protokoll (Robots Exclusion Standard, Web-Crawler-Ausschlussstandard): Funktion: Die Website teilt Webcrawlern mit, welche Seiten gecrawlt werden können und welche nein.

Formular: robots.txt-Datei im Stammverzeichnis der Website.

Grundlegende Syntax des Robots-Protokolls: * steht für alles, / steht für das Stammverzeichnis.

Zum Beispiel das Robots-Protokoll von PMCAFF:

Benutzeragent: *

Disallow: /article/edit

Disallow: /discuss/write

Disallow: /discuss/edit

in Zeile 1 Benutzer -agent:* bedeutet, dass alle Webcrawler die folgenden Protokolle einhalten müssen;

Disallow: /article/edit in Zeile 2 bedeutet, dass alle Webcrawler nicht auf Artikel unter Artikel/Bearbeiten zugreifen dürfen das Gleiche gilt auch für andere.

Wenn Sie das Robots-Protokoll von JD.com beachten, können Sie sehen, dass es den Benutzeragenten EtaoSpider, Disallow: / gibt, wobei EtaoSpider ein böswilliger Crawler ist und keine Ressourcen von JD.com crawlen darf.

Benutzeragent: *

Nicht zulassen: /?*

Nicht zulassen: /pop /*.html

Disallow: /pinpai/*.html?*

User-agent: EtaoSpider

Nicht zulassen: /

Benutzeragent: HuihuiSpider

Nicht zulassen: /

Benutzeragent: GwdangSpider

Nicht zulassen: /

Benutzeragent: WochachaSpider

Nicht zulassen: /

Mit dem Robots-Protokoll können Sie den Inhalt der Website regulieren und allen Webcrawlern mitteilen, welche gecrawlt werden dürfen und welche nicht.

Es ist wichtig zu beachten, dass das Robots-Protokoll im Stammverzeichnis vorhanden ist. Verschiedene Stammverzeichnisse können unterschiedliche Robots-Protokolle haben , daher müssen Sie beim Crawlen mehr Aufmerksamkeit schenken.

Das obige ist der detaillierte Inhalt vonWie macht man einen guten Webcrawler?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!