Pemantauan pertanyaan sql yang berlaku pada Slack

Petua Go yang ringkas untuk mendapatkan pemberitahuan tentang pertanyaan lambat, ralat yang tidak dijangka dan log penting lain.

Bot Slack saya menggesa saya tentang pertanyaan SQL yang telah lama dijalankan. Saya harus memperbaikinya secepat mungkin.

Kami tidak boleh mengurus perkara yang tidak boleh kami ukur. Setiap aplikasi bahagian belakang memerlukan kami memantau prestasinya pada pangkalan data. Jika pertanyaan tertentu menjadi perlahan apabila jumlah data berkembang, anda mesti mengoptimumkannya sebelum ia menjadi terlalu perlahan.

Memandangkan Slack telah menjadi pusat kerja kami, ia juga mengubah cara kami memantau sistem kami. Walaupun kami sudah mempunyai alat pemantauan yang cukup bagus, ia juga merupakan idea yang bagus untuk meminta bot Slack memberitahu kami jika ada apa-apa dalam sistem yang semakin surut. Contohnya, pertanyaan SQL mengambil masa terlalu lama untuk diselesaikan, atau ralat maut berlaku dalam pakej Go tertentu.

Dalam catatan blog ini, kami akan memberitahu anda cara menyediakan sistem pengelogan mudah yang sudah menyokong ciri ini dan perpustakaan pangkalan data sedia ada untuk mencapai matlamat ini.

logger ialah perpustakaan kecil yang direka untuk digunakan oleh perpustakaan dan aplikasi Go. Dalam contoh ini kami menggunakan tiga ciri pentingnya:

Ia menyediakan pemasa mudah untuk mengukur prestasi.
Menyokong penapis keluaran yang kompleks, jadi anda boleh memilih log daripada pakej yang ditentukan. Sebagai contoh, anda boleh memberitahu pembalak untuk hanya mengeluarkan daripada paket pangkalan data dan hanya mengeluarkan log pemasa yang lebih panjang daripada 500 ms.
Ia mempunyai cangkuk Slack, jadi anda boleh menapis dan memasukkan log ke dalam Slack.
Mari lihat cara menggunakan pemasa dalam contoh ini, kemudian kita juga akan menggunakan penapis:

package main
import (
    "github.com/azer/logger"
    "time"
)
var (
  users = logger.New("users")
  database = logger.New("database")
)
func main () {
  users.Info("Hi!")
  timer := database.Timer()
  time.Sleep(time.Millisecond * 250) // sleep 250ms
  timer.End("Connected to database")
  users.Error("Failed to create a new user.", logger.Attrs{
    "e-mail": "[email protected]",
  })
  database.Info("Just a random log.")
  fmt.Println("Bye.")
}

Tiada output semasa menjalankan program ini:

Pencatat senyap secara lalai, jadi ia boleh digunakan di dalam perpustakaan. Kami hanya menggunakan pembolehubah persekitaran untuk melihat log: Contohnya:

$ LOG=database@timer go run example-01.go
01:08:54.997 database(250.095587ms): Connected to database.
Bye

Dalam contoh di atas, kami menggunakan penapis pangkalan data@pemasa untuk melihat output log pemasa dalam pakej pangkalan data. Anda juga boleh mencuba penapis lain, seperti:

LOG=*: Semua log
LOG=pengguna@ralat, pangkalan data: semua log ralat daripada pengguna, semua log daripada pangkalan data
LOG=*@timer,database@info: log pemasa dan log ralat daripada semua pakej, dan semua log daripada pangkalan data
LOG=*,users@mute: Semua log kecuali pengguna

Log konsol adalah untuk persekitaran pembangunan, tetapi kami memerlukan produk untuk menyediakan antara muka yang mesra. Terima kasih kepada slack-hook, kami boleh mengintegrasikannya dengan mudah menggunakan Slack dalam contoh di atas:

import (
  "github.com/azer/logger"
  "github.com/azer/logger-slack-hook"
)
func init () {
  logger.Hook(&slackhook.Writer{
    WebHookURL: "https://hooks.slack.com/services/...",
    Channel: "slow-queries",
    Username: "Query Person",
    Filter: func (log *logger.Log) bool {
      return log.Package == "database" && log.Level == "TIMER" && log.Elapsed >= 200
    }
  })
}

Mari terangkan apa yang kami lakukan dalam contoh di atas:

Baris #5: Tetapkan url webhook masuk. URL dipautkan di sini.
Baris #6: Pilih saluran kemasukan untuk log aliran.
Baris #7: Nama pengguna pengirim yang dipaparkan.
Baris #11: Gunakan penapis strim untuk hanya mengeluarkan log pemasa yang lebih lama daripada 200 ms.
Harap contoh ini dapat memberi anda gambaran umum. Jika anda mempunyai lebih banyak soalan, lihat dokumentasi pembalak.

crud ialah perpustakaan gaya ORM untuk pangkalan data Go Salah satu ciri tersembunyinya ialah sistem pengelogan dalaman menggunakan logger. Ini membolehkan kami memantau dengan mudah pertanyaan SQL yang dijalankan.

Berikut adalah pertanyaan ringkas yang mengembalikan nama pengguna yang diberikan e-mel:

func GetUserNameByEmail (email string) (string, error) {
  var name string
  if err := DB.Read(&name, "SELECT name FROM user WHERE email=?", email); err != nil {
    return "", err
  }
  return name, nil
}

Baiklah, yang ini terlalu pendek dan rasanya seperti kehilangan sesuatu, mari tambahkan konteks penuh:

import (
  "github.com/azer/crud"
  _ "github.com/go-sql-driver/mysql"
  "os"
)
var db *crud.DB
func main () {
  var err error
  DB, err = crud.Connect("mysql", os.Getenv("DATABASE_URL"))
  if err != nil {
    panic(err)
  }
  username, err := GetUserNameByEmail("[email protected]")
  if err != nil {
    panic(err)
  }
  fmt.Println("Your username is: ", username)
}

Jadi, kami mempunyai contoh kasar yang disambungkan ke pangkalan data MySQL melalui pembolehubah persekitaran DATABASE_URL. Jika kita menjalankan program ini, kita akan melihat baris keluaran:

$ DATABASE_URL=root:123456@/testdb go run example.go
Your username is: azer

Seperti yang saya nyatakan sebelum ini, pengelogan adalah senyap secara lalai. Mari kita lihat log dalaman crud:

$ LOG=crud go run example.go
22:56:29.691 crud(0): SQL Query Executed: SELECT username FROM user WHERE email='[email protected]'
Your username is: azer

Ini mudah dan cukup untuk kita melihat cara pertanyaan dilaksanakan dalam persekitaran pembangunan kita.

Logger direka untuk pengurusan konfigurasi "sistem pembalakan dalaman" peringkat aplikasi. Ini bermakna anda boleh membuat log mentah mengalir ke Slack dengan mengkonfigurasi pembalak pada tahap aplikasi anda:

import (
  "github.com/azer/logger"
  "github.com/azer/logger-slack-hook"
)
func init () {
  logger.Hook(&slackhook.Writer{
    WebHookURL: "https://hooks.slack.com/services/...",
    Channel: "slow-queries",
    Username: "Query Person",
    Filter: func (log *logger.Log) bool {
      return log.Package == "mysql" && log.Level == "TIMER" && log.Elapsed >= 250
    }
  })
}

Dalam kod di atas:

Kami mengimport perpustakaan logger dan logger-slack-hook.
Kami mengkonfigurasi log pembalak untuk mengalir ke Slack. Konfigurasi ini meliputi semua penggunaan pembalak dalam pangkalan kod, termasuk kebergantungan pihak ketiga.
Kami menggunakan penapis strim untuk hanya mengeluarkan log pemasa daripada pakej MySQL yang lebih panjang daripada 250 ms.
Penggunaan ini boleh dilanjutkan melangkaui pelaporan pertanyaan yang perlahan sahaja. Saya sendiri menggunakannya untuk menjejaki ralat penting dalam pakej tertentu, dan juga untuk statistik seperti log masuk pengguna baharu atau log penjanaan pembayaran.

crud

pembalak

kail-kendur-logger

Beritahu kami jika anda mempunyai sebarang soalan atau cadangan

Atas ialah kandungan terperinci Pemantauan pertanyaan sql yang berlaku pada Slack. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!