Was sind die Wissenspunkte des Python-Anti-Crawlers?

1. Warum Anti-Crawler?

Bevor wir das Anti-Crawler-System entwerfen, schauen wir uns zunächst an, welche Probleme Crawler auf die Website bringen werden. #🎜 🎜#

Im Wesentlichen sind die Websites im Internet, die von Menschen durchsucht, angezeigt und genutzt werden können, und die Daten auf den Websites offen und zugänglich, sodass kein sogenanntes Problem des „illegalen autorisierten Zugriffs“ besteht. .

Es gibt keinen wesentlichen Unterschied zwischen einem Crawler-Programm, das auf eine Webseite zugreift, und einem Menschen, der auf eine Webseite zugreift. In beiden Fällen initiiert der Client eine HTTP-Anfrage an den Website-Server gibt eine Inhaltsantwort an den Client zurück.

Solange eine Anfrage initiiert wird, muss der Website-Server antworten. Um zu antworten, müssen die Ressourcen des Servers verbraucht werden.

Es besteht eine für beide Seiten vorteilhafte Beziehung zwischen Website-Besuchern und der Website. Die Website bietet Besuchern die notwendigen Informationen und Dienste, die sie benötigen, und Besucher bringen auch Traffic auf die Website. Daher sind Websitebesitzer bereit, die Bandbreite, die Festplatte und den Speicher des Servers zu nutzen, um ihre Besucher zu bedienen.

Und was ist mit dem Crawler-Programm? Es kommt einer Prostitutionsparty gleich. Die Verdoppelung der Ressourcen des Website-Servers und die Belegung der Serverbandbreite bringen der Website keinen Nutzen, sondern sind im Endergebnis schädlich für die Website selbst.

Crawler können als die afrikanischen Hyänen des Internets angesehen werden, und es ist kein Wunder, dass sie von Website-Besitzern gehasst werden.

2. Crawler identifizieren

Da Sie Crawler hassen, müssen Sie sie von der Website fernhalten. Um den Crawler-Zugriff zu verweigern, müssen Sie zunächst das Crawler-Programm unter den Netzwerkbesuchern identifizieren. Wie identifiziere ich es? ist für die einfachsten Webcrawler. Der Browser bringt einen eigenen Anforderungsheader mit, um seine grundlegenden Informationen anzugeben. HTTP-Anforderungsheader können von Crawlern leicht beschädigt werden, da sie von jedem geändert und gefälscht werden können.

2. Cookie-Wert

Cookies werden normalerweise verwendet, um Website-Besucher zu identifizieren, ähnlich wie ein temporärer Personalausweis in Ihrer Hand. Auf dieser Grundlage wird die Identität beim Website-Server überprüft. Leider werden Cookies clientseitig gespeichert und können verändert und gefälscht werden.

3. Zugriffshäufigkeit

Wenn ein Besucher jede Sekunde eine bestimmte Seite der Website anfordert oder innerhalb weniger Sekunden mehrere Seiten anfordert A Hundert Mal diese Seite. Dieser Besucher ist entweder ein Crawler oder ein Geist. Welcher Mensch kann schnell und häufig mit der Maus klicken, um eine Seite zu besuchen? Hat er die Parkinson-Krankheit oder ist er eine Reinkarnation eines Oktopus?

Es ist möglich, Crawler anhand der Zugriffshäufigkeit zu identifizieren, Crawler können jedoch auch eine große Anzahl von Proxy-IPs verwenden, um den Effekt zu erzielen, dass eine IP-Adresse nur einmal besucht wird, oder um zufällige Anforderungsintervalle zu vermeiden.

4. Verhaltensverlauf der Maus

Gewöhnliche menschliche Besucher bewegen beim Surfen im Internet nicht Schritt für Schritt wie eine Maschine. . Die Bewegungen und Klicks der Maus können über JS-Skripte erfasst werden, sodass Sie anhand der Mausverhaltensbahn des Besuchers beurteilen können, ob es sich bei dem Besucher um ein Crawler-Programm handelt.

5. Tokenwert

Viele Websites verwenden jetzt eine Front-End- und Back-End-Trennungsentwicklungsmethode mit der Back-End-Schnittstelle Geben Sie Daten an das Front-End zurück und kombinieren Sie die Daten nach dem Abrufen mit der Seite zum Rendern. Daher suchen viele Crawler-Programme direkt nach der Datenschnittstelle, anstatt törichterweise die Seite anzufordern. Der Token wird zur Verifizierung dieser Backend-Datenschnittstellen verwendet. Normalerweise wird ein Token durch eine Kombination aus Zeit- und Webseitenschlüsseln verschlüsselt.

Es gibt weitere Möglichkeiten, Crawler zu identifizieren, die ich hier nicht einzeln vorstellen werde. Unabhängig davon, welche der oben genannten Methoden zur Identifizierung von Webcrawlern verwendet wird, besteht leider immer die Gefahr, von den Crawlern getäuscht oder infiltriert zu werden.

3. Crawler verweigern

So wie es vor zehn Jahren keinen endgültigen Website-Sicherheitsschutz gibt, wurde Port 3389 geschlossen kann verhindern, dass der Server zu einem Broiler geworden ist. Heutzutage wurden verschiedene Firewalls und verschiedene Sicherheitsmaßnahmen hinzugefügt, und es ist möglich, aufgrund einer bestimmten 0Day-Sicherheitslücke erpresst zu werden.

Es gibt immer einen Kampf und eine Eskalation zwischen Crawlern und Anti-Crawlern. Der Unterschied zwischen Cyber-Angriff und -Verteidigung und Anti-Crawling besteht darin, dass es sich bei ersterem um einen kompromisslosen Kampf handelt, während bei letzterem Handschuhe und Helme wie bei olympischen Boxern zum Einsatz kommen.

Um die Website zu betreiben, ist es notwendig, den Inhalt für die Außenwelt zu öffnen, und der offene Inhalt ist wie der Geruch von Aas und Blut, der in der afrikanischen Savanne schwebt und die Ankunft von direkt anzieht Hyänen.

Es ist eine schwierige Aufgabe, ein Gleichgewicht zwischen offenen Inhalten und der Vermeidung, zu einem Data-Mining-Pool für Crawler zu werden, zu finden.

1. Beschränken Sie die Offenheit von Inhalten

Offene Inhalte sind die Grundlage für die Gewinnung von Nutzern und Traffic, daher müssen die Inhalte offen sein. Aber die Offenheit von Inhalten ist keine grenzenlose Offenheit. Nicht registrierte Benutzer können ein oder zwei Inhalte anzeigen, haben jedoch nicht uneingeschränkten Zugriff auf alle Inhalte. Diese Einschränkung kann in Form von Klick-Verifizierungsmechanismen wie Login, Scan-Code-Verifizierung oder Zugriff auf den Google-Verifizierungscode erfolgen.

Heutzutage haben immer mehr Websites den Mechanismus der eingeschränkten Inhaltsöffnung übernommen, wie z. B. Weibo, Zhihu, Taobao usw. Sie können eine oder zwei Seiten mit Inhalten sehen, aber wenn Sie trotzdem fortfahren möchten , Entschuldigung, bitte melden Sie sich an.

2. Verhaltensaufzeichnen von Benutzervorgängen

Das Problem wird nicht gelöst, da die simulierte Anmeldung schon immer ein beliebter Entwicklungszweig des Webcrawlers war Programme, egal ob es sich um einen Bildbestätigungscode, ein Puzzle, einen Schieberegler oder ein angeklicktes chinesisches Zeichen handelt, alles wird kaputt gehen. Durch das Schreiben von APP- und Crawler-Programmen können SMS-Bestätigungscodes mit der Website kommunizieren.

Daher ist die Aufzeichnung des Benutzerverhaltens unerlässlich. Dies ist die Grundlage für die Analyse und Verarbeitung von Crawlern.

3. Gehen Sie im Hinblick auf die Kontrolle strikt gegen hochfrequentes Verhalten vor.

Tatsächlich gibt es viele Crawler-Programme, die nicht ausgeführt werden Die Daten und Inhalte der Website werden nur erfasst, um die manuelle Erfassung und Organisation zu erleichtern. Diese Art von Crawler-Verhalten ist im Allgemeinen höher als die Häufigkeit von hyänenähnlichen Crawlern Diese Art von Crawler-Verhalten kann ignoriert werden. Halten Sie eine Linie in Ihrem Leben, damit wir uns in Zukunft wiedersehen können.

Es müssen jedoch Maßnahmen für hochfrequentes Crawler-Verhalten ergriffen werden, das den Betrieb des Website-Servers beeinträchtigt. Kombinieren Sie Benutzer- und IP-Informationen, um relevante Benutzer oder IPs zu verarbeiten.

4. Erklärung der Rechte in der Vereinbarung

Der Eigentümer der Website muss in der Website-Vereinbarung oder Nutzungsvereinbarung erklären, dass normales Surfen und Wenn der Zugriff und die Datenerfassung gestattet sind, behalten wir uns das Recht vor, ungewöhnliches, hochfrequentes oder bedrohliches Verhalten, das die Stabilität des Website-Servers gefährdet, weiter zu verarbeiten.

Das obige ist der detaillierte Inhalt vonWas sind die Wissenspunkte des Python-Anti-Crawlers?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!