So implementieren Sie ein benutzerdefiniertes Crawler-Framework mit PHP

Mit der kontinuierlichen Entwicklung des Internets ist die Menge an Informationen explosionsartig gestiegen und die Beschaffung wertvoller Informationen ist für viele Menschen zu einem Bedürfnis geworden. In einer solchen Umgebung hat sich die Crawler-Technologie nach und nach entwickelt und ist zu einem der wichtigsten Werkzeuge im Big-Data-Zeitalter geworden. Die Crawler-Technologie hat ein breites Anwendungsspektrum und kann in vielen Bereichen eingesetzt werden, beispielsweise bei der Überwachung der öffentlichen Meinung in Netzwerken, bei der Datenanalyse und beim Information Mining. In diesem Artikel wird erläutert, wie Sie mit PHP ein benutzerdefiniertes Crawler-Framework implementieren.

1. Prinzip des Crawler-Frameworks

Ein Crawler ist ein Programm, das automatisch Webseiteninformationen abruft und wertvolle Daten zur Analyse und Nutzung extrahiert. Das Crawler-Framework ist die Basis des Crawler-Programms, das benutzerdefinierte Erfassungs-, Analyse-, Speicher- und andere Methoden umfasst.

Das Crawler-Programm wird über das Crawler-Framework implementiert. Der grundlegende Prozess ist wie folgt:

1. Webseiteninformationen abrufen: Senden Sie über das HTTP-Protokoll eine Anfrage an die Zielwebsite, um Webseitentextinformationen zu erhalten.
2. Webseiteninformationen analysieren: Webseitentext analysieren und Zieldaten zur Verarbeitung extrahieren.
3. Speicherung der Verarbeitungsergebnisse: Speichern Sie die verarbeiteten Daten für die spätere Datenanalyse und -nutzung.

2. Implementierung des PHP-Crawler-Frameworks

1. Webseiteninformationen abrufen

In PHP können HTTP-Anfragen über die CURL-Bibliothek implementiert werden. CURL ist eine leistungsstarke Open-Source-Netzwerkbibliothek, die zur Verarbeitung von URLs (Uniform Resource Locator, Uniform Resource Locator) in PHP verwendet werden kann.

Der Code lautet wie folgt:

$ch = curl_init();  // 初始化 cURL
$options =  array(
    CURLOPT_URL => $url,  // 请求的 URL
    CURLOPT_RETURNTRANSFER => 1,  // 返回原生的输出内容
    CURLOPT_ENCODING => '',  // 自动处理响应头中的 Transfer-Encoding
    CURLOPT_USERAGENT => $_SERVER['HTTP_USER_AGENT']  // 模拟 user-agent
);
curl_setopt_array($ch, $options); 
$result = curl_exec($ch);  // 执行请求
curl_close($ch);  // 关闭请求链接

Verwenden Sie im obigen Code zuerst die Funktion curl_init() Um CURL zu initialisieren, verwenden Sie dann die Funktion „curl_setopt_array()“, um verschiedene Parameter der CURL-Anfrage festzulegen, einschließlich der angeforderten URL, der Rückgabe nativen Ausgabeinhalts, der automatischen Verarbeitung von Transfer-Encoding im Antwortheader und der Simulation eines Benutzeragenten. Führen Sie abschließend die Anfrage über curl_exec() aus und schließen Sie den Anfragelink. Nachdem Sie den obigen Code ausgeführt haben, können Sie die Webseiteninformationen der Zielwebsite erfolgreich abrufen.

2. Webseiteninformationen analysieren

In PHP können Sie die DOMDocument-Klasse zum Parsen von HTML-Text verwenden, die eine Reihe von DOM-Schnittstellen (Document Object Model) bereitstellt, mit denen HTML-Text einfach analysiert werden kann.

Der Code lautet wie folgt:

$doc = new DOMDocument();
$doc->loadHTML($result);  // 加载 HTML 内容
$xpath = new DOMXPath($doc);
$tags = $xpath->query('//tag')  // 获取指定标签
foreach ($tags as $tag) {
    // 对标签内容进行解析
}

Der obige Code erstellt zunächst ein Objekt der DOMDocument-Klasse, lädt dann den Webseitentext über die Funktion loadHTML(), ruft dann das angegebene Tag über die DOMXPath-Klasse ab und analysiert das Tag Inhalt.

3. Ergebnisse der Speicherverarbeitung

In PHP können Daten über die MySQL-Datenbank gespeichert werden, die eine Reihe von PDO-Schnittstellen (PHP Data Objects, PHP Data Objects) für bequeme Datenbankoperationen bereitstellt.

Der Code lautet wie folgt:

$pdo = new PDO('mysql:host=$dbhost;dbname=$dbname', $username, $password); // 连接数据库
$sql = 'INSERT INTO table_name (field1, field2, ...) VALUES (:value1, :value2, ...)';  // SQL 语句
$stmt = $pdo->prepare($sql);  // 预处理 SQL 语句
$stmt->bindParam(':param1', $value1);  // 绑定参数
$stmt->bindParam(':param2', $value2);
...
$stmt->execute();  // 执行 SQL 语句

Verwenden Sie im obigen Code zuerst das PDO-Objekt, um eine Verbindung zur MySQL-Datenbank herzustellen, und verwenden Sie anschließend die SQL-Anweisung, um Daten in die angegebene Datentabelle einzufügen, indem Sie die SQL-Anweisung anschließend vorverarbeiten Wenn Sie die Parameter binden, können Sie die SQL-Anweisung direkt ausführen. Die Daten werden erfolgreich in der Datenbank gespeichert.

3. Anwendungsfall des Crawler-Frameworks

Nachdem wir das Crawler-Framework implementiert haben, können wir es zum Crawlen jeder Website verwenden. Nachfolgend wird ein einfacher Anwendungsfall demonstriert. Zum Beispiel müssen wir jetzt die Zhihu-Benutzerinformationen crawlen. Zuerst müssen wir die Seiteninformationen des Benutzers abrufen:

$url = "https://www.zhihu.com/people/xxx";
$result = getCurl($url);

Dann analysieren wir die zurückgegebenen Seiteninformationen über XPath und erhalten die Zielinformationen:

$doc = new DOMDocument();
$doc->loadHTML($result);
$xpath = new DOMXPath($doc);
// 用户名
$username = $xpath->query("//*[@class='ProfileHeader-name']/text()")->item(0)->nodeValue;
// 签名
$userbio = $xpath->query("//div[@class='ProfileHeader-headline']/span//@title")->item(0)->nodeValue;
// 关注数
$following_count = $xpath->query("//*[@class='NumberBoard-itemValue']/text()")->item(2)->nodeValue;
// 粉丝数
$followers_count = $xpath->query("//*[@class='NumberBoard-itemValue']/text()")->item(3)->nodeValue;

Schließlich können wir The verwenden Die MySQL-Datenbank speichert die erhaltenen Zielinformationen:

$pdo = new PDO('mysql:host=localhost;dbname=database', 'username', 'password');
$sql = "INSERT INTO `zhihu_users`(`username`, `userbio`, `following_count`, `followers_count`, `updated_at`) VALUES (:username, :userbio, :following_count, :followers_count, NOW())";
$stmt = $pdo->prepare($sql);
$stmt->bindParam(':username', $username);
$stmt->bindParam(':userbio', $userbio);
$stmt->bindParam(':following_count', $following_count);
$stmt->bindParam(':followers_count', $followers_count);
$stmt->execute();

Anhand des obigen Codebeispiels können wir den Prozess der Verwendung von PHP zur Implementierung eines benutzerdefinierten Crawler-Frameworks sehen, einschließlich Vorgängen wie dem Abrufen von Webseiteninformationen, dem Parsen von Webseiteninformationen und dem Speichern von Verarbeitungsergebnissen . Durch dieses Framework können wir die Zielwebsite einfach crawlen und analysieren und die Effizienz und Genauigkeit der Datenanwendung verbessern.

Das obige ist der detaillierte Inhalt vonSo implementieren Sie ein benutzerdefiniertes Crawler-Framework mit PHP. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!