RabbitMQ を使用して Golang でタスク キューを実装するための最適化手法

err := channel.Publish(
    "exchange_name", // 交换机名称
    "routing_key",   // 路由键
    true,            // mandatory
    false,           // immediate
    amqp.Publishing{
        DeliveryMode: amqp.Persistent, // 将消息设置为持久化的
        ContentType:  "text/plain",
        Body:         []byte("Hello, RabbitMQ!"),
    })

err := channel.Qos(
    1,     // prefetch count
    0,     // prefetch size
    false, // global
)

messages, err := channel.Consume(
    "queue_name", // 队列名称
    "consumer_id",  // 消费者ID
    false,         // auto ack
    false,         // exclusive
    false,         // no local
    false,         // no wait
    nil,           // arguments
)

for message := range messages {
    // 处理消息

    message.Ack(false)

    // 在处理完一批消息后调用Ack方法确认消息
    if condition {
        channel.Ack(message.DeliveryTag, true)
    }
}

err := channel.Qos(
    1,     // prefetch count (每次处理的消息数量)
    0,     // prefetch size
    false, // global
)

messages, err := channel.Consume(
    "queue_name", // 队列名称
    "consumer_id",  // 消费者ID
    false,         // auto ack
    false,         // exclusive
    false,         // no local
    false,         // no wait
    nil,           // arguments
)

// 控制消费者数量
// 当达到最大消费者数量时，将拒绝新的消费者连接
semaphore := make(chan struct{}, max_concurrent_consumers)

for message := range messages {
    semaphore <- struct{}{} // 当有新的消费者连接时，将占用一个信号量

    go func(message amqp.Delivery) {
        defer func() {
            <-semaphore // 当消费者处理完一批消息后，释放一个信号量
        }()

        // 处理消息
        
        message.Ack(false)
    }(message)
}