PHP implementiert Open-Source-Storm-Distributed-Computing

Mit der kontinuierlichen Ausweitung des Internetgeschäfts wird die Nachfrage nach Datenverarbeitung immer größer. Aufgrund seiner horizontalen Erweiterungsmöglichkeiten kann das verteilte Computing den aktuellen Anforderungen nicht mehr gerecht werden. Das auf der Java-Sprache basierende Storm-Distributed-Computing-Framework ist im Bereich der verteilten Echtzeit-Computing weit verbreitet. Für einige kleine Projekte oder Einzelpersonen ist die Bereitstellung und Verwendung der Java-Umgebung jedoch relativ kompliziert Sprache, um es zu implementieren. Open Source Storm Distributed Computing.

1. Einführung in Storm

Storm ist ein kostenloses, verteiltes Open-Source-Echtzeit-Computersystem, das von Twitter entwickelt und im September 2013 als Open Source veröffentlicht wurde. Storm bietet die folgenden Vorteile:

(1) Fehlertoleranz: Die Architektur von Storm basiert auf Zookeeper- und Nimbus-Komponenten, die Komponentenausfälle automatisch erkennen und neu starten können, wodurch die Möglichkeit von Systemproblemen aufgrund von Einzelpunktausfällen reduziert wird

(2) Skalierbarkeit: Storm verwendet ein Stream-basiertes Modell für die Datenverarbeitung, das theoretisch unbegrenzt erweitert werden kann, um Datenverarbeitungsanforderungen unterschiedlicher Größenordnungen zu erfüllen.

(3) Effizienz: Storm verfügt über effiziente Verarbeitungsfähigkeiten und geringe Latenzzeiten. Zeitrechnung.

2. Die Notwendigkeit von PHP zur Implementierung von Storm Distributed Computing

Obwohl Storm über leistungsstarke Funktionen und hervorragende Leistung verfügt, erfordern die Bereitstellung und Verwendung von Storm die Unterstützung einer Java-Umgebung. Für einige kleine Projekte oder Einzelpersonen sind die Bereitstellung und Bereitstellung noch sicher Schwellenwerte für die Nutzung der Java-Umgebung, was gewisse Schwierigkeiten mit sich bringt.

Als weit verbreitete Websprache ist PHP relativ einfach bereitzustellen und zu verwenden und kann problemlos Webserver erstellen und Webanwendungen entwickeln. Wenn Storm Distributed Computing in der PHP-Umgebung implementiert werden kann, können daher die Entwicklungskosten gesenkt und verbessert werden Entwicklungseffizienz.

3. Wie PHP verteiltes Storm-Computing implementiert

Um verteiltes Storm-Computing in einer PHP-Umgebung zu implementieren, müssen Sie die folgenden zwei Funktionen implementieren:

(1) Nachrichtenübermittlungsmechanismus: Storm verwendet Tupel für die Datenübertragung, daher ist es erforderlich zu implementierender Tuple-Liefermechanismus;

(2) Verteiltes Rechnen: Es ist notwendig, die Berechnungslogik der Komponenten Spout (Datenquelle) und Bolt (Datenprozessor) sowie die Konstruktion und Ausführung der Topologie (Prozess) zu implementieren.

Als Reaktion auf die beiden oben genannten Punkte schlägt dieser Artikel den folgenden Implementierungsplan vor:

(1) Nachrichtenübermittlungsmechanismus

Die PHP-Sprache selbst unterstützt den Tuple-Übermittlungsmechanismus nicht, daher müssen einige Komponenten von Drittanbietern verwendet werden es umsetzen. Zu den derzeit beliebten Komponenten gehören ZeroMQ und Apache Thrift. Wählen Sie einfach eine davon aus.

(2) Verteiltes Rechnen

Die Berechnungslogik für Spout, Bolt und Topology kann mithilfe der PHP-Sprache implementiert werden. Die spezifische Implementierung ist wie folgt:

(i) Spout: Die Datenquelle in Storm ist dafür verantwortlich, Daten aus externen Systemen zu lesen und sie in Tuple zu kapseln. Sie können mit PHP entwickeln, über Komponenten von Drittanbietern Anfragen an externe Datenquellen senden und Daten abrufen, die erhaltenen Daten dann in Tuple kapseln und sie dann über Komponenten wie ZeroMQ oder Apache Thrift an den Prozessor senden.

(ii) Bolt: Der Datenverarbeiter ist für die Datenverarbeitung in Storm und die Ausgabe neuer Tupel an den Downstream verantwortlich. Sie können PHP für die Entwicklung verwenden, das Tupel nach dem Empfang verarbeiten und das Verarbeitungsergebnis in ein neues Tupel kapseln und es dann über Komponenten wie ZeroMQ oder Apache Thrift an den nächsten Prozessor oder Endprozessor senden.

(iii) Topologie: Der Prozesscontroller ist für die Montage von Spouts und Bolts in Storm und die Steuerung des Datenflusses verantwortlich. PHP kann für die Entwicklung verwendet werden, um die Topologie von Spout und Bolt zu implementieren und eine Prozesssteuerung durchzuführen, einschließlich geplanter Tupel-Emission, Tupel-Gruppierung und -Sortierung, Fehlerbehebung usw.

4. Fazit

PHPs Implementierung von Storm Distributed Computing kann die Entwicklungskosten senken und die Entwicklungseffizienz verbessern und bietet eine neue Option für kleine Projekte oder Einzelpersonen, die verteiltes Echtzeit-Computing implementieren müssen. Obwohl die PHP-Sprache selbst eine relativ schwache Unterstützung für verteiltes Rechnen bietet, kann durch die Verwendung von Komponenten von Drittanbietern der Nachrichtenübermittlungsmechanismus implementiert werden, und durch das Schreiben von PHP-Code zur Implementierung der Berechnungslogik von Spout, Bolt und Topology kann Storm verteiltes Computing implementieren einfach umzusetzen.

Das obige ist der detaillierte Inhalt vonPHP implementiert Open-Source-Storm-Distributed-Computing. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!