So implementieren Sie einen verteilten Crawler mithilfe der Client-IP

Wenn Sie einen serverseitigen Crawler verwenden, treten verschiedene Probleme auf. Wie können Sie die IP des Besuchers verwenden, um beim Öffnen der Webseite auf die gecrawlte Website zuzugreifen und die Daten dann hochzuladen? ? Ajax ruft die gecrawlten Daten ab und sendet sie dann an Ihren eigenen Server?

Gibt es ähnliche Beispiele oder Open-Source-Projekte?

Antwortinhalt:

Wenn Sie einen serverseitigen Crawler verwenden, treten verschiedene Probleme auf. Wie können Sie die IP des Besuchers verwenden, um beim Öffnen der Webseite auf die gecrawlte Website zuzugreifen und dann die Daten hochzuladen? ? Ajax ruft die gecrawlten Daten ab und sendet sie dann an Ihren eigenen Server?

Gibt es ähnliche Beispiele oder Open-Source-Projekte?

Sie stehlen die Privatsphäre der Benutzer, das wird nicht funktionieren~

Das Grundprinzip besteht darin, einen versteckten Iframe zu erstellen und dann die Zielwebsite anzufordern. Wenn die Anforderung erfolgreich ist, speichern Sie sie mit Ajax auf dem lokalen Server. . Da viele Websites Anti-Crawling-Strategien implementiert haben, schlagen serverseitige Crawler häufig fehl. In diesem Fall ist es sehr nützlich, clientseitige Crawler zu verwenden.

Allerdings ist die Benutzererfahrung nicht sehr gut. . . .