Membina Pengguna SQS Berskala dalam Go

pengenalan

Apabila membina sistem teragih, baris gilir mesej seperti Amazon SQS memainkan peranan penting dalam mengendalikan beban kerja tak segerak. Dalam siaran ini, saya akan berkongsi pengalaman saya melaksanakan pengguna SQS yang mantap dalam Go yang mengendalikan acara pendaftaran pengguna untuk Keycloak. Penyelesaiannya menggunakan corak serentak kipas keluar/masuk untuk memproses mesej dengan cekap tanpa sumber sistem yang melampau.

Cabaran

Saya menghadapi masalah yang menarik: memproses sekitar 50,000 acara SQS setiap hari untuk mendaftarkan pengguna dalam Keycloak. Pendekatan naif mungkin menghasilkan goroutine baharu untuk setiap mesej, tetapi ini boleh menyebabkan kehabisan sumber dengan cepat. Kami memerlukan pendekatan yang lebih terkawal untuk keselarasan.

Kenapa Fan-out/Fan-in?

Corak kipas-keluar/kipas-masuk sesuai untuk bekas penggunaan ini kerana ia:

• Mengekalkan kumpulan goroutin pekerja tetap
• Mengedarkan kerja secara sama rata kepada pekerja
• Menghalang keletihan sumber
• Memberi kawalan yang lebih baik ke atas operasi serentak

Pelaksanaan Deep Dive

1. Struktur Pengguna

Pertama, mari kita lihat struktur asas pengguna kami:

type Consumer struct {
    Client    *sqs.Client
    QueueName string
}

2. Saluran Paip Pemprosesan Mesej

Pelaksanaan terdiri daripada tiga komponen utama:

1. Penerima Mesej: Tinjauan SQS secara berterusan untuk mesej baharu
2. Kolam Pekerja: Tetapkan bilangan goroutine yang memproses mesej
3. Saluran Mesej: Menghubungkan penerima kepada pekerja

Begini cara kami memulakan pengguna:

func StartPool[requestBody any](
    serviceFunc func(c context.Context, dto *requestBody) error,
    consumer *Consumer) {

    ctx := context.Background()
    params := &sqs.ReceiveMessageInput{
        MaxNumberOfMessages: 10,
        QueueUrl:           aws.String(consumer.QueueName),
        WaitTimeSeconds:    20,
        VisibilityTimeout:  30,
        MessageAttributeNames: []string{
            string(types.QueueAttributeNameAll),
        },
    }

    msgCh := make(chan types.Message)
    var wg sync.WaitGroup

    // Start worker pool first
    startPool(ctx, msgCh, &wg, consumer, serviceFunc)

    // Then start receiving messages
    // ... rest of the implementation
}

3. Parameter Konfigurasi Utama

Mari kita periksa parameter konfigurasi SQS yang penting:

• MaxNumberOfMessages (10): Saiz kelompok untuk setiap tinjauan pendapat
• WaitTimeSecons (20): Tempoh pengundian yang panjang
• Tamat Masa Keterlihatan (30): Tempoh tangguh untuk pemprosesan mesej

4. Pelaksanaan Kolam Pekerja

Kolam pekerja ialah tempat corak kipas keluar:

func startPool[requestBody any](
    ctx context.Context,
    msgCh chan types.Message,
    wg *sync.WaitGroup,
    consumer *Consumer,
    serviceFunc func(c context.Context, dto *requestBody) error) {

    processingMessages := &sync.Map{}

    // Start 10 workers
    for i := 0; i < 10; i++ {
        go worker(ctx, msgCh, wg, consumer, processingMessages, serviceFunc)
    }
}

5. Pengendalian Mesej Pendua

Kami menggunakan penyegerakan.Peta untuk menghalang pemprosesan mesej pendua:

type Consumer struct {
    Client    *sqs.Client
    QueueName string
}

Amalan dan Pembelajaran Terbaik

1. Pengendalian Ralat: Sentiasa kendalikan ralat dengan baik dan logkannya dengan sewajarnya
2. Pembersihan Mesej: Padamkan mesej hanya selepas berjaya diproses
3. Penutupan Anggun: Laksanakan mekanisme penutupan yang betul menggunakan konteks
4. Pemantauan: Tambahkan pengelogan pada titik penting untuk pemerhatian

Pertimbangan Prestasi

• Kiraan Pekerja: Pilih berdasarkan beban kerja anda dan sumber yang tersedia
• Saiz Kelompok: Keseimbangan antara pemprosesan dan masa pemprosesan
• Tamat Masa Keterlihatan: Tetapkan mengikut purata masa pemprosesan anda

Penambahbaikan Masa Depan

1. Penskalaan Pekerja Dinamik: Laraskan kiraan pekerja berdasarkan kedalaman baris gilir
2. Pemutus Litar: Tambah pemutus litar untuk perkhidmatan hiliran
3. Koleksi Metrik: Tambahkan metrik Prometheus untuk pemantauan
4. Baris Gilir Surat Mati: Laksanakan pengendalian DLQ untuk mesej yang gagal
5. Cuba semula: Tambahkan mundur eksponen untuk kegagalan sementara

Kesimpulan

Corak kipas keluar/masuk memberikan penyelesaian yang elegan untuk memproses mesej SQS volum tinggi dalam Go. Dengan mengekalkan kumpulan pekerja tetap, kami mengelakkan perangkap penciptaan goroutine tanpa had sambil memastikan pemprosesan mesej yang cekap.

Ingat untuk sentiasa mempertimbangkan kes penggunaan khusus anda apabila melaksanakan corak sedemikian. Nilai konfigurasi yang ditunjukkan di sini (kiraan pekerja, nilai tamat masa, dll.) hendaklah dilaraskan berdasarkan keperluan dan kekangan sumber anda.

Kod sumber: [Pautan ke repositori anda jika tersedia]

Tag: #golang #aws #sqs #concurrency #distributed-systems

Atas ialah kandungan terperinci Membina Pengguna SQS Berskala dalam Go. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!