Erste Erfahrungen mit der Bedienung von RabbitMQ in Python (1)

Da ich Python verwenden wollte, um ein verteiltes System zur Verwaltung und Überwachung des Inhalts und des Betriebsstatus des CDN zu implementieren, bin ich zufällig auf RabbitMQ gestoßen. Viele Leute haben es empfohlen, wie zum Beispiel Yu Fengs „Warum sollte ich RabbitMQ wählen?“. " und so weiter .

Als das Wort MQ in Sicht kam, habe ich mehrere Stunden damit verbracht, darüber zu lesen, was MQ ist, also Message Queue (Nachrichtenwarteschlange). Wie der Name schon sagt, ist Nachrichtenwarteschlange eine mit Nachrichten gefüllte Warteschlange, Warteschlange, Datenstruktursubstantiv, eine Datenstruktur mit First-In-First-Out-Eigenschaften. Die Nachrichtenwarteschlange wird lediglich zur Übermittlung von Nachrichten verwendet. Welche Bedeutung hat sie, welche Anwendungsszenarien gibt es, welche Funktionen bietet sie, welche einzigartigen Vorteile bietet sie und warum sollte sie verwendet werden? meiner Meinung nach.

Nach vielen Suchen kam ich schließlich zu einem oberflächlichen Verständnis, dass die Nachrichtenwarteschlange eine Kommunikationsmethode für die Informationsübertragung von Anwendung zu Anwendung ist. Wenn Sie beispielsweise die Protokolle mehrerer Server analysieren müssen, können Sie einen Prozess auf jedem Server verwenden, um Daten, also die erforderlichen Informationen, in eine Tabelle in einer MySQL-Datenbank zu schreiben, und dann mehrere Prozesse schreiben, um die Daten zu lesen in der Tabelle und verarbeiten die Daten nicht sehr gut, aber bald wurde die Hässlichkeit dieses Entwurfs deutlich ... Möchten Sie, dass mehrere Programme Daten aus einer Warteschlange zur Verarbeitung abrufen? Kein Problem, wir haben die Anzahl der Programme fest codiert ... was? Erlauben Sie dem Programm auch, den Druck dynamisch zu verteilen, während er dynamisch zunimmt und abnimmt? Dies ist ein Beispiel aus der sehr beliebten „RabbitMQ+Python Introduction to Classic Rabbit and Rabbit Nest“. Denken Sie darüber nach, wenn mein CDN viele Daten, Datenverteilung und -verarbeitung überträgt, wird alles ein Problem sein. Aber ich verstehe immer noch nicht, wie Rabbit diese Dinge umsetzt.

Konzeptionell ist RabbitMQ die Standardimplementierung von AMPQ (Advanced Message Protocol Queuing). Es wird gesagt, dass diejenigen, die mit AMQP nicht vertraut sind, die RabbitMQ-Dokumentation nicht verstehen werden. Aber wir können nur ein tiefes Verständnis der Schlüsselkonzepte aufbauen. Das gesamte RabbitMQ-Implementierungsprinzip ist in der folgenden Abbildung dargestellt. Es handelt sich tatsächlich um ein Produzenten- und Verbrauchermodell mit einer Routing-Aufgabenverteilungswarteschlange. Wie in der Abbildung gezeigt, erzeugt der Produzent entsprechende Informationen und sendet sie an den Router. Der Router verteilt die Informationen basierend auf den Schlüsselinformationen in den Informationen, und dann liest der Verbraucher die Daten in verschiedenen Nachrichtenwarteschlangen.

Broker: Einfach ausgedrückt handelt es sich um die Nachrichtenwarteschlangenservereinheit.
Austausch: Nachrichtenaustausch, der die Regeln angibt, nach denen Nachrichten an welche Warteschlange weitergeleitet werden.
Warteschlange: Träger der Nachrichtenwarteschlange. Jede Nachricht wird in eine oder mehrere Warteschlangen gestellt.
Bindung: Bindung, ihre Funktion besteht darin, Austausch und Warteschlange gemäß Routing-Regeln zu binden.
Routing-Schlüssel: Routing-Schlüsselwort, Exchange stellt Nachrichten basierend auf diesem Schlüsselwort zu.
vhost: virtueller Host. In einem Broker können mehrere vhosts geöffnet werden, um die Berechtigungen verschiedener Benutzer zu trennen.
Produzent: Der Nachrichtenproduzent ist das Programm, das Nachrichten übermittelt.
Consumer: Ein Nachrichtenkonsument ist ein Programm, das Nachrichten akzeptiert.
Kanal: Nachrichtenkanal In jeder Verbindung des Clients können mehrere Kanäle eingerichtet werden, wobei jeder Kanal eine Sitzungsaufgabe darstellt.

Der Prozess der Verwendung der Nachrichtenwarteschlange ist ungefähr wie folgt:

(1) Der Client stellt eine Verbindung zum Nachrichtenwarteschlangenserver her und öffnet einen Kanal.
(2) Der Client deklariert einen Austausch und legt zugehörige Attribute fest.
(3) Der Client deklariert eine Warteschlange und legt zugehörige Attribute fest.
(4) Der Client verwendet den Routing-Schlüssel, um eine verbindliche Beziehung zwischen Vermittlungsstelle und Warteschlange herzustellen.
(5) Der Kunde übermittelt die Nachricht zum Austausch.

Nachdem ich den allgemeinen Prozess und die Vorteile von RabbitMQ verstanden hatte, begann ich, RabbitMQ auf meinem eigenen Fedora zu testen.

Laut der offiziellen Website von RabbitMQ muss die Installation von hier heruntergeladen werden

rpm --import http://www.rabbitmq.com/rabbitmq-signing-key-public.asc yum install rabbitmq-server-3.3.0-1.noarch.rpm

chkconfig rabbitmq-server on

/sbin/service rabbitmq-server stop/start

grep beam.smp /var/log/audit/audit.log | audit2allow -M mypolsemodule -i mypol.pp/sbin/service rabbitmq-server start

pip install pika

#!/usr/bin/env pythonimport pikaconnection = pika.BlockingConnection(pika.ConnectionParameters(              
 'localhost'))channel = connection.channel()

channel.queue_declare(queue='sayhello')

channel.basic_publish(exchange='',                        
routing_key='hello',                                    
body='hello world')print "Sent ‘hello world'"

connection.close()

channel.queue_declare(queue='hello')

def callback(ch, method, properties, body):    print " [x] Received %r" % (body,)

channel.basic_consume(callback,                      
queue='hello',                      
no_ack=True)print ' [*] Waiting for messages. To exit press CTRL+C'channel.start_consuming()