Einführung in das PHP-basierte Crawler-Framework und detaillierte Erläuterung von Anwendungsbeispielen

Mit dem explosionsartigen Wachstum der Internetinformationen werden große Datenmengen auf Websites gespeichert, die für viele Benutzer von großem Wert sind. Daher hat sich die Crawler-Technologie nach und nach zu einem leistungsstarken Mittel zur Nutzung von Internetdaten entwickelt.

In diesem Artikel wird ein Crawler-Framework vorgestellt, das auf der PHP-Sprache basiert: Guzzle und Goutte. Guzzle ist ein für PHP entwickelter HTTP-Client, mit dem HTTP-Anfragen gesendet und mit REST-Ressourcen interagiert werden können. Goutte ist seine Ergänzung. Es handelt sich um ein auf Guzzle basierendes Webcrawler-Framework, das problemlos Webinhalte abrufen und Datenextraktion und -analyse durchführen kann.

Zuerst müssen wir Guzzle und Goutte in PHP installieren. Es kann über Composer installiert werden. Der spezifische Befehl lautet wie folgt:

composer require guzzlehttp/guzzle
composer require fabpot/goutte

Nachdem die Installation abgeschlossen ist, lernen wir zunächst, wie man Guzzle verwendet. Wir können den folgenden Code verwenden, um eine HTTP-GET-Anfrage zu senden und den Antwortinhalt abzurufen:

<?php
use GuzzleHttpClient;

$client = new Client();
$response = $client->get('https://www.example.com');
echo $response->getBody();

Dieser Code erstellt zunächst ein GuzzleClient-Objekt und verwendet dann die Methode get(), um eine GET-Anfrage an die angegebene URL zu senden und die Antwort abzurufen Inhalt. . Rufen Sie die Methode getBody() auf, um den Inhalt des Antworttextes abzurufen.

Goutte ist ein auf Guzzle basierendes Webcrawler-Framework, dessen Verwendung ebenfalls sehr einfach ist. Das Folgende ist ein einfaches Beispiel für die Verwendung von Goutte:

<?php
use GoutteClient;

$client = new Client();
$crawler = $client->request('GET', 'https://www.example.com');
$crawler->filter('h1')->each(function ($node) {
    echo $node->text() . "
";
});

Dieser Code verwendet Goutte, um ein Client-Objekt zu erstellen und eine GET-Anfrage an die angegebene URL zu senden, dann den Antworttext abzurufen und ihn in ein DOM-Objekt zu analysieren. $crawler->filter('h1') ist ein Filter, der alle h1-Tag-Knoten auf der Seite angibt und dann die every()-Methode aufruft. Für jeden h1-Tag-Knoten wird die angegebene anonyme Funktion ausgeführt $node ist das aktuelle Knotenobjekt und seine Methode text() kann den Textinhalt des Knotens abrufen.

Sehen wir uns unten ein umfassenderes Beispiel an, das zeigt, wie man mit Goutte Fragen und Antworten auf Zhihu crawlt und den Benutzernamen, den Antwortinhalt, die Anzahl der „Gefällt mir“-Angaben und die Antwortzeit in einer CSV-Datei speichert:

<?php
use GoutteClient;

$client = new Client();
$crawler = $client->request('GET', 'https://www.zhihu.com/question/21774949');
$fp = fopen('output.csv', 'w');
fputcsv($fp, ['User', 'Content', 'Votes', 'Time']);
$crawler->filter('.List-item')->each(function ($node) use ($fp) {
    $user = $node->filter('.AuthorInfo .Popover')->text();
    $content = $node->filter('.RichText')->text();
    $votes = $node->filter('.Voters')->text();
    $time = $node->filter('.ContentItem-time')->text();
    fputcsv($fp, [$user, $content, $votes, $time]);
});
fclose($fp);

Dieser Code crawlt zunächst die Seite mit der Frage-ID 21774949 auf Zhihu und schreibt dann mithilfe eines Dateihandles die CSV-Kopfzeile in die Datei „output.csv“. Verwenden Sie als Nächstes die Methode filter(), um alle Frage- und Antwortknoten auf der Seite zu finden, und führen Sie dann auf jedem Knoten eine anonyme Funktion aus. Verwenden Sie in der anonymen Funktion die Methode filter(), um den Namen, den Antwortinhalt, die Anzahl der Likes und die Antwortzeit jedes Benutzers zu ermitteln, und verwenden Sie die Methode fputcsv(), um diese vier Felder in die Datei zu schreiben. Schließen Sie abschließend den Dateigriff.

Zusammenfassend ist es sehr einfach, mit Guzzle und Goutte ein Crawler-Framework zu erstellen. Es ist äußerst flexibel und skalierbar und kann auf verschiedene Szenarien angewendet werden, einschließlich, aber nicht beschränkt auf, Data Mining, SEO-Optimierung und andere Bereiche. Bitte beachten Sie jedoch, dass jeder Crawler die robots.txt-Datei der Website einhalten muss, um eine übermäßige Belastung der Zielwebsite und eine Verletzung der Privatsphäre der Benutzer zu vermeiden.

Das obige ist der detaillierte Inhalt vonEinführung in das PHP-basierte Crawler-Framework und detaillierte Erläuterung von Anwendungsbeispielen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!