• 技术文章 >后端开发 >Python教程

    Python操作RabbitMQ初体验(一)

    黄舟黄舟2017-01-17 14:47:56原创738
    由于想用Python实现一套分布式系统,来管理和监控CDN的内容与运行状态,误打误撞认识了RabbitMQ,推荐的人很多,如余锋《我为什么要选择RabbitMQ》等等。

    在MQ这个词汇映入眼帘的时候,我花了好几个小时去阅读什么是MQ,即Message Queue(消息队列)。顾名思义,消息队列,装满消息的队列,队列,数据结构名词,具备先进先出特性的一种数据结构。消息队列无非是用来传递消息的而已,那么其意义何在,应用场景又在哪里,具备什么特性,及其独特优势是什么,为什么要用,这些都是浮现在我脑海中的一连串问题。

    经过一大串搜索,终于肤浅的理解消息队列是应用对应用的信息传递的通信方式。比如需要分析多台服务器的日志,完全可以每台服务器都用一个进程往一个Mysql数据库的表里面写入数据,即所需要的信息,然后再写几个进程,读取表里数据,进行数据分析不是挺好,不过很快,这种设计的丑陋之处就显现出来了…… 你想要多个程序从一个队列当中取数据来处理?没问题,我们硬编码程序的个数好了……什么?还要能够允许程序动态地增加和减少的时候动态进行压力分配?这是很流行的《RabbitMQ+Python入门经典 兔子和兔子窝》里面的例子。想想也是,当我的CDN传输来一大堆数据的时候,数据的分发,处理,所有的一切都会是问题。但是其实还是没明白,Rabbit到底是怎么样实现这些东西的。

    概念上说,RabbitMQ是AMPQ(高级消息协议队列)的标准实现,据说不熟悉AMQP,会看不懂RabbitMQ的文档。但是也只能建大的理解关键概念了。整个RabbitMQ的实现原理模型见下图,其实就是一个带路由任务分发队列的生产者与消费者模型。如图所示,即生产者生产出相应的信息,发送给路由器,路由器根据信息中的关键Key信息,将信息分发到不同的消息队列中,再由消费者去不同的消息队列中读取数据的过程。

    242.png

    Broker:简单来说就是消息队列服务器实体。
      Exchange:消息交换机,它指定消息按什么规则,路由到哪个队列。
      Queue:消息队列载体,每个消息都会被投入到一个或多个队列。
      Binding:绑定,它的作用就是把exchange和queue按照路由规则绑定起来。
      Routing Key:路由关键字,exchange根据这个关键字进行消息投递。
      vhost:虚拟主机,一个broker里可以开设多个vhost,用作不同用户的权限分离。
      producer:消息生产者,就是投递消息的程序。
      consumer:消息消费者,就是接受消息的程序。
      channel:消息通道,在客户端的每个连接里,可建立多个channel,每个channel代表一个会话任务。

    消息队列的使用过程大概如下:

    (1)客户端连接到消息队列服务器,打开一个channel。
      (2)客户端声明一个exchange,并设置相关属性。
      (3)客户端声明一个queue,并设置相关属性。
      (4)客户端使用routing key,在exchange和queue之间建立好绑定关系。
      (5)客户端投递消息到exchange。

    了解了RabbitMQ大概流程与优势之后,我开始在自己的Fedora上进行RabbitMQ的试用。

    根据RabbitMQ官网介绍,安装需要从此处下载

    http://www.rabbitmq.com/download.html

    243.png


    点击可以下载各个版本的binary包,我下载了rabbitmq-server-3.3.0-1.noarch.rpm

    进入下载路径,/home/sun5495/Downloads/

    [sun5495@localhost Downloads]# sudo chmod 777 rabbitmq-server-3.3.0-1.noarch.rpm

    更改可执行文件权限,增加执行权限。

    然后执行./rabbitmq-server-3.3.0-1.noarch.rpm,运行报错,无法安装。

    原来是现需要安装Erlang才可以,试用此命令 yum install erlang 搞定。

    然后使用root用户执行

    rpm --import http://www.rabbitmq.com/rabbitmq-signing-key-public.asc yum install rabbitmq-server-3.3.0-1.noarch.rpm

    安装成功。

    为了设置RBMQ开机启动,使用管理员账户执行

    chkconfig rabbitmq-server on

    开启和关闭server使用命令

    /sbin/service rabbitmq-server stop/start

    结果开启的时候报错如下
    Starting rabbitmq-server (via systemctl): Job for rabbitmq-server.service failed. See 'systemctl status rabbitmq-server.service' and 'journalctl -xn' for details. [FAILED]

    使用journalctl -xn命令打开日志,查看了下貌似是Erlang的某个文件拒绝访问,然后还提出了一大堆建议。

    尝试一下

    grep beam.smp /var/log/audit/audit.log | audit2allow -M mypolsemodule -i mypol.pp/sbin/service rabbitmq-server start

    245.png

    既然RabbitMQ安装也运行成功了,那么我就来尝尝RabbitMQ的鲜吧。就从官网上的例子一步一笔来做好了。

    由于我使用的是Python,那么就需要安装一些支持RabbitMQ的库来进行操作,其中包括

    py-amqplib,txAMQP,pika这几种,按照官网的tutorial,我也安装了pika。

    pip install pika

    从最简单的收发消息开始。即一端发送消息,一端接收消息。

    244.png

    发送方即生产者,首先要创建与RabbitMQ服务器的连接,

    #!/usr/bin/env pythonimport pikaconnection = pika.BlockingConnection(pika.ConnectionParameters(              
     'localhost'))channel = connection.channel()

    此处服务器连接本地localhost,也可以指定ip或者主机名。

    其次发送方需要声明一个队列,比如命名为sayhello

    channel.queue_declare(queue='sayhello')

    此时我们就可以发送消息了。由于第一个小案例比较简单,没有经过路由器,因此发送消息时,指定路由为空即可。

    channel.basic_publish(exchange='',                        
    routing_key='hello',                                    
    body='hello world')print "Sent ‘hello world'"

    最后关闭连接即可。

    connection.close()

    接收方即消费者,需要从队列上获取数据,因此也需要绑定一个队列

    channel.queue_declare(queue='hello')

    同时,由于接收方的工作方式是基于队列的消息执行一个回调函数,当收到消息时,Pika就会执行相应的回调函数,因此我们需要定义此函数。

    def callback(ch, method, properties, body):    print " [x] Received %r" % (body,)

    接下来我们需要初始化这个消费者,并对消费者进行启动。

    channel.basic_consume(callback,                      
    queue='hello',                      
    no_ack=True)print ' [*] Waiting for messages. To exit press CTRL+C'channel.start_consuming()

    OK执行成功。

    接下来就逐步的深入体验RabbitMQ的独特魅力。

    以上就是Python操作RabbitMQ初体验(一)的内容,更多相关内容请关注PHP中文网(m.sbmmt.com)!


    声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn核实处理。
    专题推荐:Python,RabbitMQ
    上一篇:python学习笔记-为自定义类或者函数编写help文档,以及进行文档测试 下一篇:Python rabbitmq的使用(二)
    VIP课程(WEB全栈开发)

    相关文章推荐

    • 【活动】充值PHP中文网VIP即送云服务器• python中API调用的详解与示例• 手把手教你在Python使用plot()函数画图• 详细解析python正则表达式re模块• 一文搞定Python中pip的安装与使用• 一文详解python生成器
    1/1

    PHP中文网