Backend-Entwicklung
PHP-Tutorial
So erstellen Sie einen Echtzeit-Webcrawler mit Elasticsearch und PHP
So erstellen Sie einen Echtzeit-Webcrawler mit Elasticsearch und PHP
So erstellen Sie einen Echtzeit-Webcrawler mit Elasticsearch und PHP
Einführung:
Ein Webcrawler ist ein automatisiertes Programm, das Informationen aus dem Internet sammelt und diese organisiert und analysiert. Elasticsearch ist eine Open-Source-Suchmaschine, die schnelle Such- und Analysefunktionen in Echtzeit bietet. PHP ist eine beliebte serverseitige Skriptsprache. Durch die Kombination von Elasticsearch und PHP können wir einen Echtzeit-Webcrawler erstellen, der Daten von Websites sammelt und sie zur Suche und Analyse in Elasticsearch speichert.
Schritt 1: Elasticsearch installieren und konfigurieren
Zuerst müssen wir Elasticsearch auf dem Server installieren und konfigurieren. Sie können die für Ihr Betriebssystem geeignete Version von der offiziellen Website von Elasticsearch herunterladen und gemäß der offiziellen Dokumentation installieren und konfigurieren.
Schritt 2: Elasticsearch-Index einrichten
In Elasticsearch werden Daten im Index gespeichert. Wir müssen die Struktur und Felder des Index definieren. Das Folgende ist eine Beispiel-Indexdefinition zum Speichern der Daten, die wir von der Website entfernen:
PUT my_index
{
"mappings": {
"properties": {
"title": {
"type": "text"
},
"content": {
"type": "text"
},
"url": {
"type": "keyword"
}
}
}
}Hier definieren wir einen Index mit dem Namen „my_index“, der „title“, „content“ und „url“ enthält. Drei Felder. Die Felder „Titel“ und „Inhalt“ sind vom Typ „Text“ und das Feld „URL“ vom Typ „Schlüsselwort“. Sie können je nach Bedarf weitere Felder definieren.
Schritt 3: PHP-Crawler-Code schreiben
Als Nächstes schreiben wir mit PHP einen einfachen Webcrawler, um Daten von der angegebenen Website zu crawlen und die Daten in Elasticsearch zu speichern. Das Folgende ist ein Beispielcode:
<?php
// 定义需要抓取的目标网站URL
$targetUrl = "https://www.example.com";
// 创建一个Elasticsearch客户端实例
$esClient = new ElasticsearchClient();
// 从目标网站上获取HTML内容
$htmlContent = file_get_contents($targetUrl);
// 使用正则表达式提取标题和内容
preg_match('/<title>(.*?)</title>/', $htmlContent, $titleMatches);
preg_match('/<body>(.*?)</body>/', $htmlContent, $contentMatches);
// 抓取到的数据
$title = $titleMatches[1];
$content = strip_tags($contentMatches[1]); // 去除HTML标签
// 构建文档
$document = [
'index' => 'my_index',
'body' => [
'title' => $title,
'content' => $content,
'url' => $targetUrl
]
];
// 将文档存储到Elasticsearch中
$esClient->index($document);
echo "数据已成功存储到Elasticsearch中！";
?>In diesem Code definieren wir zunächst die URL der Zielwebsite, die gecrawlt werden soll. Anschließend wurde eine Elasticsearch-Client-Instanz für die Interaktion mit Elasticsearch erstellt. Verwenden Sie als Nächstes die Funktion file_get_contents, um den HTML-Inhalt der Zielwebsite abzurufen, und verwenden Sie dann reguläre Ausdrücke, um Titel und Inhalt zu extrahieren. Abschließend wird das Dokument erstellt und in Elasticsearch gespeichert. Der Speichervorgang verwendet die von Elasticsearch bereitgestellte Indexfunktion.
Schritt 4: Führen Sie den Crawler-Code aus.
Speichern Sie den obigen Code in einer PHP-Datei und laden Sie ihn auf Ihren Server hoch. Führen Sie dann die Datei im Terminal oder in der Befehlszeile aus, um die Ausführung des Crawlers zu starten.
$ php crawler.php
Der Crawler crawlt Daten von der angegebenen Website und speichert sie in Elasticsearch.
Fazit:
Durch die Kombination von Elasticsearch und PHP können wir einen einfachen, aber leistungsstarken Echtzeit-Webcrawler erstellen. Mit den Such- und Analysefunktionen von Elasticsearch können wir die gecrawlten Daten einfach durchsuchen und analysieren. Ich hoffe, dieser Artikel ist hilfreich für Sie. Versuchen Sie, Ihren eigenen Echtzeit-Webcrawler zu erstellen!
Das obige ist der detaillierte Inhalt vonSo erstellen Sie einen Echtzeit-Webcrawler mit Elasticsearch und PHP. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
Heiße KI -Werkzeuge
Undress AI Tool
Ausziehbilder kostenlos
Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos
AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.
Clothoff.io
KI-Kleiderentferner
Video Face Swap
Tauschen Sie Gesichter in jedem Video mühelos mit unserem völlig kostenlosen KI-Gesichtstausch-Tool aus!
Heißer Artikel
Heiße Werkzeuge
Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor
SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen
Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung
Dreamweaver CS6
Visuelle Webentwicklungstools
SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)
Jenseits des Lampenstacks: Rolle von PHP in der modernen Enterprise -Architektur
Jul 27, 2025 am 04:31 AM
PhpisstillrelevantinMoDernEnterpriseEnvironments.1.ModerPhp (7.xand8.x) Angebote, strenge, jitkompilation und moderne Syntax, machte maßgeschneiderte Foreiglableforlarge-ScaleApplikationen
Objektrelationszuordnung (ORM) Leistungsstimmen in PHP
Jul 29, 2025 am 05:00 AM
Vermeiden Sie N 1 Abfrageprobleme, reduzieren Sie die Anzahl der Datenbankabfragen, indem Sie die zugehörigen Daten im Voraus laden. 2. Wählen Sie nur die erforderlichen Felder aus, um das Laden vollständiger Entitäten zu vermeiden, um Speicher und Bandbreite zu sparen. 3.. Verwenden Sie Cache-Strategien vernünftigerweise, z. 4. Optimieren Sie den Lebenszyklus der Entität und rufen Sie Clear () regelmäßig an, um den Speicher freizugeben, um den Speicherüberlauf zu verhindern. 5. Stellen Sie sicher, dass der Datenbankindex die generierten SQL -Anweisungen existiert und analysiert, um ineffiziente Abfragen zu vermeiden. 6. Deaktivieren Sie die automatische Änderungsverfolgung in Szenarien, in denen Änderungen nicht erforderlich sind, und verwenden Sie Arrays oder Leichtgewichtsmodi, um die Leistung zu verbessern. Die korrekte Verwendung von ORM erfordert die Kombination der SQL -Überwachung, -gespeicherung, der Stapelverarbeitung und der geeigneten Optimierung, um die Anwendungsleistung zu gewährleisten und gleichzeitig die Entwicklungseffizienz beizubehalten.
Aufbau belastbarer Mikrodienste mit PHP und Rabbitmq
Jul 27, 2025 am 04:32 AM
Um einen flexiblen PHP -Microservice zu erstellen, müssen Sie Rabbitmq verwenden, um eine asynchrone Kommunikation zu erreichen. 1. Decken Sie den Dienst über Nachrichtenwarteschlangen ab, um Kaskadenfehler zu vermeiden. 2. Konfigurieren Sie persistente Warteschlangen, anhaltende Nachrichten, Freigabebestätigung und manuelles ACK, um die Zuverlässigkeit zu gewährleisten. 3.. Verwenden Sie exponentielle Backoff -Wiederholung, TTL und Dead Letter -Warteschlangenverarbeitungsfehler; 4. Verwenden Sie Tools wie Supervisford, um Verbraucherprozesse zu schützen und Herzschlagmechanismen zu ermöglichen, um die Gesundheit der Service zu gewährleisten. und letztendlich die Fähigkeit des Systems erkennen, kontinuierlich in Fehlern zu arbeiten.
Erstellen von produktionsbereiten Docker-Umgebungen für PHP
Jul 27, 2025 am 04:32 AM
Die Verwendung des richtigen PHP-Basisbildes und die Konfiguration einer sicheren, leistungsoptimierten Docker-Umgebung ist der Schlüssel zum Erreichen der Produktion. 1. Wählen Sie PHP: 8,3-FPM-Alpine als Grundbild, um die Angriffsfläche zu reduzieren und die Leistung zu verbessern. 2. Deaktivieren Sie gefährliche Funktionen über benutzerdefinierte Php.ini, deaktivieren Sie die Fehleranzeige und aktivieren Sie Opcache und JIT, um die Sicherheit und Leistung zu verbessern. 3.. Verwenden Sie Nginx als Reverse Proxy, um den Zugriff auf sensible Dateien einzuschränken und die PHP-Anforderungen korrekt an PHP-FPM weiterzuleiten. 4. Verwenden Sie mehrstufige Optimierungsbilder, um Entwicklungsabhängigkeiten zu entfernen, und richten Sie nicht Root-Benutzer auf, um Container auszuführen. 5. optionaler Aufsichtsbehörde zum Verwalten mehrerer Prozesse wie Cron; 6. Überprüfen
VSCODE Settings.json Standort
Aug 01, 2025 am 06:12 AM
Die Datei "Settings.JSON" befindet sich auf dem Pfad auf Benutzerebene oder Arbeitsbereichsebene und wird verwendet, um die VSCODE-Einstellungen anzupassen. 1. Benutzer-Level-Pfad: Windows ist C: \ Benutzer \\ AppData \ Roaming \ Code \ User \ Settings.json, MacOS is /users//library/applicationsupport/code/user/settings.json, Linux is /home/.config/code/usser/setings.json; 2. Pfad auf Arbeitsbereichsebene: .VSCODE/Einstellungen im Projekt Root Directory
Aufbau unveränderlicher Objekte in PHP mit Readonly -Eigenschaften
Jul 30, 2025 am 05:40 AM
ReadOmpropertiesinphp8.2canonlyBeSignedoncinstructororatDeklarationandCannotBemodifiedAfterward, durchsetzungsvermutbarkeitatheluagelevel.2.ToachedevimmiMmutability, WrapMutabletypesLikearrayObjecustomimmutablecollections
Die serverlose Revolution: Bereitstellung skalierbarer PHP -Anwendungen mit BREF
Jul 28, 2025 am 04:39 AM
Mit Bref ermöglicht es PHP-Entwicklern, skalierbare, kostengünstige Anwendungen zu erstellen, ohne Server zu verwalten. 1.Bref bringt Php nach AWSLambda, indem er eine optimierte PHP -Laufzeitschicht bereitstellt, Php8.3 und andere Versionen unterstützt und sich nahtlos in Frameworks wie Laravel und Symfony integriert. 2.. 3. Führen Sie den Befehl ServerlessDeploy aus, um die Bereitstellung abzuschließen, apiCateway automatisch zu konfigurieren und Zugriffs -URLs zu generieren. 4. Für Lambda -Beschränkungen bietet BREF Lösungen.
Ein tiefes Eintauchen in den Mechanismus für interne Müllsammlung von PHP
Jul 28, 2025 am 04:44 AM
Der Müllsammlung von PHP basiert auf der Referenzzählung, aber kreisförmige Referenzen müssen von einem periodischen kreisförmigen Müllsammler verarbeitet werden. 1. Die Referenzzahl gibt den Speicher sofort frei, wenn keine Referenz auf die Variable vorhanden ist. 2. Referenzreferenz bewirkt, dass Speicher nicht automatisch freigegeben werden kann, und es hängt davon ab, dass GC ihn erfasst und reinigt. 3.. GC wird ausgelöst, wenn das "mögliche Wurzel" den Schwellenwert erreicht oder manuell gc_collect_cycles () aufruft; 4. Langzeit laufende PHP-Anwendungen sollten gc_status () überwachen und rechtzeitig gc_collect () aufrufen, um Speicherleckage zu vermeiden. 5. Zu den Best Practices gehört die Vermeidung von kreisförmigen Referenzen, die Verwendung von gc_disable () zur Optimierung der Leistungsschlüsselbereiche und Dereference -Objekte über die Clear () -Methode des ORM.
