메시지 큐는 높은 동시성 및 비동기식 작업 처리를 처리하는 데 매우 중요한 역할을 하는 일반적인 시스템 아키텍처 패턴입니다. Go 언어에서는 일부 오픈 소스 메시지 대기열 라이브러리 및 도구를 통해 메시지 대기열 사용이 매우 편리하고 간단해졌습니다.
이 문서에서는 다음을 포함하여 Go에서 메시지 대기열을 사용하는 방법을 소개합니다.
메시지 큐는 큐를 사용하여 메시지를 캐시하고, 비동기적으로 전송하고 저장하는 아키텍처 패턴입니다. 메시지 대기열은 일반적으로 생산자, 소비자 및 대기열의 세 부분으로 나뉩니다. 생산자는 메시지를 큐로 보내고 소비자는 처리를 위해 큐에서 메시지를 가져옵니다. 메시지 대기열의 목적은 생산자와 소비자 간의 시간 및 공간 종속성을 분리하고 비동기 작업 처리를 구현하는 것입니다.
메시지 큐는 데이터 캐시, 비동기 처리 구현, 피크 로드 감소(단시간에 높은 동시 요청 처리) 및 로드 밸런싱 등을 구현할 수 있습니다. 대규모 분산 시스템 설계를 지원하는 중요한 부분입니다. .
다양한 프로그래밍 언어를 지원하는 많은 메시지 대기열 라이브러리와 도구가 시중에 나와 있습니다. 가장 일반적인 것 중에는 다음이 있습니다.
Go 언어는 기본적으로 코루틴을 지원하므로 메시지 대기열을 사용하여 비동기 작업을 처리하는 것이 특히 적합합니다. Go 언어는 상대적으로 사용하기 편리한 메시지 대기열용 오픈 소스 라이브러리와 도구를 많이 제공합니다.
또한 메시지 대기열은 메시지를 비동기식으로 처리하므로 작업을 오프로드하여 단일 시스템에서 높은 동시성을 피할 수 있습니다. 따라서 메시지 대기열은 다음과 같은 시나리오에서 사용될 수 있습니다.
Go에서 메시지 큐를 사용하는 방법을 예제를 통해 보여줍니다.
일부 웹사이트에서 이미지 데이터를 크롤링하여 로컬에 저장한다고 가정해 보겠습니다. go를 사용하여 이 프로그램을 완료할 수 있습니다. 일부 사진의 비동기 다운로드를 구현하기 위해 RabbitMQ를 메시지 대기열로 사용하고 Go에서 다음 단계를 완료합니다.
Install RabbitMQ
RabbitMQ 설치, 공식 웹사이트 다운로드 주소: https://www.rabbitmq.com/ download.html ;github.com/streadway/amqp 라이브러리를 사용하여 RabbitMQ와의 상호 작용을 구현할 수 있습니다. 아래는 코드입니다.
먼저 다운로드해야 하는 이미지 주소를 크롤링하고 RabbitMQ로 보내는 크롤러 코드를 작성하세요.
func main() {
spider()
}
func spider() {
url := "https://www.example.com"
doc, _ := goquery.NewDocument(url)
doc.Find(".img_wrapper img").Each(func(i int, s *goquery.Selection) {
imgUrl, _ := s.Attr("src")
publishToMQ(imgUrl)
})
}
func publishToMQ(msg string) {
conn, err := amqp.Dial("amqp://test:test@localhost:5672/test")
failOnError(err, "Failed to connect to RabbitMQ")
defer conn.Close()
ch, err := conn.Channel()
failOnError(err, "Failed to open a channel")
defer ch.Close()
q, err := ch.QueueDeclare(
"image_downloader", // name
true, // durable
false, // delete when unused
false, // exclusive
false, // no-wait
nil, // arguments
)
failOnError(err, "Failed to declare a queue")
err = ch.Publish(
"", // exchange
q.Name, // routing key
false, // mandatory
false, // immediate
amqp.Publishing{
ContentType: "text/plain",
Body: []byte(msg),
})
failOnError(err, "Failed to publish a message")
log.Printf(" [x] Sent %s", msg)
}그런 다음 이미지 다운로더를 작성하세요. RabbitMQ의 메시지 대기열을 수신하면 비동기 이미지 다운로드가 이루어집니다.
func main() {
consumeMQ()
}
func consumeMQ() {
conn, err := amqp.Dial("amqp://test:test@localhost:5672/test")
failOnError(err, "Failed to connect to RabbitMQ")
defer conn.Close()
ch, err := conn.Channel()
failOnError(err, "Failed to open a channel")
defer ch.Close()
q, err := ch.QueueDeclare(
"image_downloader", // name
true, // durable
false, // delete when unused
false, // exclusive
false, // no-wait
nil, // arguments
)
failOnError(err, "Failed to declare a queue")
msgs, err := ch.Consume(
q.Name, // queue
"", // consumer
true, // auto-ack
false, // exclusive
false, // no-local
false, // no-wait
nil, // args
)
failOnError(err, "Failed to register a consumer")
forever := make(chan bool)
go func() {
for d := range msgs {
log.Printf("Received a message: %s", d.Body)
downloadImage(string(d.Body))
}
}()
log.Printf(" [*] Waiting for messages. To exit press CTRL+C")
<-forever
}
func downloadImage(url string) {
resp, err := http.Get(url)
if err != nil {
log.Fatal(err)
}
defer resp.Body.Close()
file, err := os.Create(uuid.New().String() + ".jpg")
if err != nil {
log.Fatal(err)
}
defer file.Close()
_, err = io.Copy(file, resp.Body)
if err != nil {
log.Fatal(err)
}
log.Printf("Downloaded an image: %s", url)
}위 코드에서는 생산자가 html 페이지의 이미지 주소를 구문 분석한 후 작업 대기열 "image-downloader"를 생성했습니다. 작업 대기열에. 소비자는 작업 대기열을 수신하고 메시지를 받은 후 downloadImage 함수를 호출하여 이미지 파일을 다운로드합니다.
위 예시는 RabbitMQ를 사용한 간단한 사용 사례입니다. 다른 메시지 대기열 라이브러리를 사용하는 것도 비슷합니다. 단지 다른 API를 통해 연결과 작업을 구현하면 됩니다.
개요
이 기사에서는 대량의 데이터 처리 시나리오에서 비동기 소비가 필수적이라는 것을 소개하고 설명합니다. Go 언어는 자체 코루틴 메커니즘으로 인해 비동기 작업 처리를 간단하고 효율적으로 만듭니다. Go 언어 자체의 풍부한 오픈 소스 라이브러리와 결합하면 메시지 대기열을 사용하여 비동기 메시지 처리를 구현하는 것이 매우 쉬워집니다.
위의 예를 통해 비동기 작업 처리를 구현할 때 메시지 큐를 사용하면 처리 효율성이 크게 향상될 수 있으며 Go 언어에서 메시지 큐를 사용하는 것도 매우 편리하다는 것을 알 수 있습니다. 프로젝트에서는 RabbitMQ 또는 Apache Kafka와 같은 오픈 소스 메시지 큐 라이브러리를 사용하는 것이 좋습니다.
위 내용은 Go에서 메시지 큐를 어떻게 사용하나요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
