Golang と RabbitMQ を使用した分散ログ収集と分析の実装の詳細とテクニック

package main

import (
    "log"
    "github.com/streadway/amqp"
)

func main() {
    // 连接到RabbitMQ服务器
    conn, err := amqp.Dial("amqp://guest:guest@localhost:5672/")
    if err != nil {
        log.Fatalf("Failed to connect to RabbitMQ: %v", err)
    }
    defer conn.Close()

    // 创建一个通道
    ch, err := conn.Channel()
    if err != nil {
        log.Fatalf("Failed to open a channel: %v", err)
    }
    defer ch.Close()

    // 声明一个交换机
    err = ch.ExchangeDeclare(
        "logs",   // 交换机名称
        "fanout", // 交换机类型
        true,     // 是否持久化
        false,    // 是否自动删除
        false,    // 内部使用
        false,    // 不等待
        nil,      // 额外参数
    )
    if err != nil {
        log.Fatalf("Failed to declare an exchange: %v", err)
    }

    // 发布日志消息
    body := []byte("Hello, RabbitMQ!")
    err = ch.Publish(
        "logs", // 交换机名称
        "",     // 队列名称
        false,  // 是否强制
        false,  // 是否立刻
        amqp.Publishing{
            ContentType: "text/plain",
            Body:        body,
        },
    )
    if err != nil {
        log.Fatalf("Failed to publish a message: %v", err)
    }

    log.Println("Log sent")
}

package main

import (
    "log"
    "os"

    "github.com/streadway/amqp"
)

func main() {
    // 连接到RabbitMQ服务器
    conn, err := amqp.Dial("amqp://guest:guest@localhost:5672/")
    if err != nil {
        log.Fatalf("Failed to connect to RabbitMQ: %v", err)
    }
    defer conn.Close()

    // 创建一个通道
    ch, err := conn.Channel()
    if err != nil {
        log.Fatalf("Failed to open a channel: %v", err)
    }
    defer ch.Close()

    // 声明一个交换机
    err = ch.ExchangeDeclare(
        "logs",   // 交换机名称
        "fanout", // 交换机类型
        true,     // 是否持久化
        false,    // 是否自动删除
        false,    // 内部使用
        false,    // 不等待
        nil,      // 额外参数
    )
    if err != nil {
        log.Fatalf("Failed to declare an exchange: %v", err)
    }

    // 声明一个临时队列
    q, err := ch.QueueDeclare(
        "",    // 队列名称
        false, // 是否持久化
        false, // 是否自动删除
        true,  // 是否独占
        false, // 是否能阻塞
        nil,   // 额外参数
    )
    if err != nil {
        log.Fatalf("Failed to declare a queue: %v", err)
    }

    // 将队列绑定到交换机
    err = ch.QueueBind(
        q.Name, // 队列名称
        "",     // 绑定键
        "logs", // 交换机名称
        false,  // 是否不等待
        nil,    // 额外参数
    )
    if err != nil {
        log.Fatalf("Failed to bind a queue: %v", err)
    }

    // 注册一个消费者
    msgs, err := ch.Consume(
        q.Name, // 队列名称
        "",     // 消费者名称
        true,   // 是否自动应答
        false,  // 是否独占
        false,  // 是否不等待
        false,  // 额外参数
        nil,    // 额外参数
    )
    if err != nil {
        log.Fatalf("Failed to register a consumer: %v", err)
    }

    // 处理日志消息
    forever := make(chan bool)
    go func() {
        for d := range msgs {
            log.Printf("Received a message: %s", d.Body)
            // 将日志写入文件
            file, err := os.OpenFile("logs.txt", os.O_APPEND|os.O_CREATE|os.O_WRONLY, 0644)
            if err != nil {
                log.Fatalf("Failed to open file: %v", err)
            }
            defer file.Close()

            if _, err := file.Write([]byte(d.Body)); err != nil {
                log.Fatalf("Failed to write to file: %v", err)
            }
        }
    }()

    log.Println("Waiting for logs...")
    <-forever
}