Introduction détaillée à l'analyse pt-query-digest de MySQL des journaux de requêtes lentes

Cet article présente principalement les informations pertinentes sur l'analyse pt-query-digest des requêtes lentes MySQL. L'introduction dans l'article est très détaillée et a une certaine valeur de référence pour tous les amis qui en ont besoin. Jetons un coup d'œil ensemble ci-dessous.

1. Introduction

pt-query-digest est un outil d'analyse des requêtes lentes MySQL que vous pouvez analyser. binlog, journal général, slowlog ou données du protocole MySQL capturées via SHOWPROCESSLIST ou via tcpdump. Les résultats de l'analyse peuvent être générés dans un fichier. Le processus d'analyse consiste d'abord à paramétrer les conditions de l'instruction de requête, puis à effectuer des statistiques de groupe sur les requêtes paramétrées pour calculer le temps d'exécution, le nombre, la proportion, etc. peut utiliser l'analyse. En conséquence, les problèmes sont identifiés et optimisés.

2. Installer le module pt-query-digest

2.perl

yum install -y perl-CPAN perl-Time-HiRes

3. Étapes d'installation

Méthode 1 : installation de rpm

cd /usr/local/src
wget percona.com/get/percona-toolkit.rpm
yum install -y percona-toolkit.rpm

Le répertoire d'installation de l'outil est : /usr/bin

Méthode 2 : Code source installation

cd /usr/local/src
wget percona.com/get/percona-toolkit.tar.gz
tar zxf percona-toolkit.tar.gz
cd percona-toolkit-2.2.19
perl Makefile.PL PREFIX=/usr/local/percona-toolkit
make && make install

Le répertoire d'installation de l'outil est : /usr/local/percona-toolkit/bin

4. Introduction à l'utilisation de chaque outil

(1) Statistiques d'analyse des journaux de requêtes lentes

pt-query-digest /usr/local/mysql/data/slow.log

(2) Résumé du serveur

pt-summary

(3) Surveillance des disques du serveur

pt-diskstats

(4) MySQL Résumé de l'état du service

pt-mysql-summary -- --user=root --password=root

3. Syntaxe pt-query-digest et options importantes

1. pt-query -digest [OPTIONS] [ FILES] [DSN]

2. --create-review-table Lorsque vous utilisez le paramètre --review pour afficher les résultats de l'analyse dans une table, celui-ci sera automatiquement créé s'il n'y a pas de table.

3. --create-history-table Lorsque vous utilisez le paramètre --history pour afficher les résultats de l'analyse dans une table, celle-ci sera automatiquement créée s'il n'y a pas de table.

4. --filter Faites correspondre et filtrez la requête lente d'entrée en fonction de la chaîne spécifiée, puis analysez-la

5. - -limit Limite le pourcentage ou la quantité des résultats de sortie. La valeur par défaut est 20, ce qui signifie que les 20 instructions les plus lentes seront sorties. Si elle est de 50 %, elles seront triées de grand à petit en fonction du temps de réponse total et de la sortie. sera coupé lorsque le total atteint 50 %.

6. --adresse du serveur mysql de l'hôte

7. --nom d'utilisateur mysql de l'utilisateur

8. -- mot de passe mot de passe utilisateur mysql

9. --history Enregistrez les résultats de l'analyse dans le tableau. Les résultats de l'analyse seront plus détaillés la prochaine fois que vous utiliserez --history, si la même instruction existe et la. La requête est Si l'intervalle de temps est différent de celui de la table d'historique, il sera enregistré dans la table de données. Vous pouvez comparer les modifications historiques d'un certain type de requête en interrogeant le même CHECKSUM.

10. --review Enregistrez les résultats de l'analyse dans la table. Cette analyse ne paramétre que les conditions de requête. Un type de requête concerne un enregistrement, ce qui est relativement simple. Lorsque --review sera utilisé la prochaine fois, si la même analyse d'instruction existe, elle ne sera pas enregistrée dans le tableau de données.

11. --type de sortie du résultat de l'analyse de sortie, la valeur peut être report (rapport d'analyse standard), slowlog (journal lent MySQL), json, json-anon, général Utilisez le rapport pour une lecture plus facile.

12. --depuis l'heure à partir de laquelle démarrer l'analyse, la valeur est une chaîne, qui peut être un instant spécifié au format "aaaa-mm-jj [hh:mm :ss]" , ou il peut s'agir d'une simple valeur temporelle : s (secondes), h (heures), m (minutes), d (jours). Par exemple, 12h signifie que les statistiques ont commencé il y a 12 heures.

13. --jusqu'à la date limite, combiné avec --since peut analyser les requêtes lentes sur une période de temps.
    

4. Analyse des résultats de sortie de pt-query-digest

Partie 1 : Résultats statistiques globaux

Global : combien de requêtes y a-t-il au total

Plage de temps : la plage de temps d'exécution des requêtes

unique : unique Nombre de requêtes, c'est-à-dire combien de requêtes différentes il y a après avoir paramétré les conditions de requête

total : total min : minimum max : maximum moy : moyenne

95 % : Disposez toutes les valeurs de petite à grande, le nombre situé à 95%, ce nombre a généralement la valeur la plus de référence

médiane : Médiane, rangez toutes les valeurs de petite trop grand, situé à 95% Le nombre au milieu

# 该工具执行日志分析的用户时间，系统时间，物理内存占用大小，虚拟内存占用大小
# 340ms user time, 140ms system time, 23.99M rss, 203.11M vsz
# 工具执行时间
# Current date: Fri Nov 25 02:37:18 2016
# 运行分析工具的主机名
# Hostname: localhost.localdomain
# 被分析的文件名
# Files: slow.log
# 语句总数量，唯一的语句数量，QPS，并发数
# Overall: 2 total, 2 unique, 0.01 QPS, 0.01x concurrency 
# 日志记录的时间范围
# Time range: 2016-11-22 06:06:18 to 06:11:40
# 属性    总计  最小 最大 平均 95% 标准 中等
# Attribute   total  min  max  avg  95% stddev median
# ============  ======= ======= ======= ======= ======= ======= =======
# 语句执行时间
# Exec time    3s 640ms  2s  1s  2s 999ms  1s
# 锁占用时间
# Lock time   1ms  0  1ms 723us  1ms  1ms 723us
# 发送到客户端的行数
# Rows sent    5  1  4 2.50  4 2.12 2.50
# select语句扫描行数
# Rows examine  186.17k  0 186.17k 93.09k 186.17k 131.64k 93.09k
# 查询的字符数
# Query size   455  15  440 227.50  440 300.52 227.50

Partie 2 : Requête regroupant les résultats statistiques

Rang : Classement de toutes les déclarations, trié par heure de requête dans l'ordre décroissant par défaut. --order-by spécifie

ID de requête : ID de l'instruction, (supprimez les espaces et les caractères de texte supplémentaires, calculez la valeur de hash )

Réponse : Temps de réponse total

temps : La proportion de temps total de cette requête dans cette analyse

appels : Nombre d'exécutions , c'est-à-dire combien d'appels y a-t-il au total dans cette analyse. Ce type d'instruction de requête

R/Call : temps de réponse moyen par exécution

V/M : temps de réponse Rapport variance/moyenne

Item：查询对象

# Profile
# Rank Query ID   Response time Calls R/Call V/M Item
# ==== ================== ============= ===== ====== ===== ===============
# 1 0xF9A57DD5A41825CA 2.0529 76.2%  1 2.0529 0.00 SELECT
# 2 0x4194D8F83F4F9365 0.6401 23.8%  1 0.6401 0.00 SELECT wx_member_base

第三部分：每一种查询的详细统计结果

由下面查询的详细统计结果，最上面的表格列出了执行次数、最大、最小、平均、95%等各项目的统计。

ID：查询的ID号，和上图的Query ID对应

Databases：数据库名

Users：各个用户执行的次数（占比）

Query_time distribution ：查询时间分布, 长短体现区间占比，本例中1s-10s之间查询数量是10s以上的两倍。

Tables：查询中涉及到的表

Explain：SQL语句

# Query 1: 0 QPS, 0x concurrency, ID 0xF9A57DD5A41825CA at byte 802 
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: all events occurred at 2016-11-22 06:11:40
# Attribute pct total  min  max  avg  95% stddev median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count   50  1
# Exec time  76  2s  2s  2s  2s  2s  0  2s
# Lock time  0  0  0  0  0  0  0  0
# Rows sent  20  1  1  1  1  1  0  1
# Rows examine 0  0  0  0  0  0  0  0
# Query size  3  15  15  15  15  15  0  15
# String:
# Databases test
# Hosts  192.168.8.1
# Users  mysql
# Query_time distribution
# 1us
# 10us
# 100us
# 1ms
# 10ms
# 100ms
# 1s ################################################################
# 10s+
# EXPLAIN /*!50100 PARTITIONS*/
select sleep(2)\G

五、用法示例

1.直接分析慢查询文件:

pt-query-digest slow.log > slow_report.log

2.分析最近12小时内的查询：

pt-query-digest --since=12h slow.log > slow_report2.log

3.分析指定时间范围内的查询：

pt-query-digest slow.log --since '2017-01-07 09:30:00' --until '2017-01-07 10:00:00'> > slow_report3.log

4.分析指含有select语句的慢查询

pt-query-digest --filter '$event->{fingerprint} =~ m/^select/i' slow.log> slow_report4.log

5.针对某个用户的慢查询

pt-query-digest --filter '($event->{user} || "") =~ m/^root/i' slow.log> slow_report5.log

6.查询所有所有的全表扫描或full join的慢查询

pt-query-digest --filter '(($event->{Full_scan} || "") eq "yes") ||(($event->{Full_join} || "") eq "yes")' slow.log> slow_report6.log

7.把查询保存到query_review表

pt-query-digest --user=root –password=abc123 --review h=localhost,D=test,t=query_review--create-review-table slow.log

8.把查询保存到query_history表

pt-query-digest --user=root –password=abc123 --review h=localhost,D=test,t=query_history--create-review-table slow.log_0001
pt-query-digest --user=root –password=abc123 --review h=localhost,D=test,t=query_history--create-review-table slow.log_0002

9.通过tcpdump抓取mysql的tcp协议数据，然后再分析

tcpdump -s 65535 -x -nn -q -tttt -i any -c 1000 port 3306 > mysql.tcp.txt
pt-query-digest --type tcpdump mysql.tcp.txt> slow_report9.log

10.分析binlog

mysqlbinlog mysql-bin.000093 > mysql-bin000093.sql
pt-query-digest --type=binlog mysql-bin000093.sql > slow_report10.log

11.分析general log

pt-query-digest --type=genlog localhost.log > slow_report11.log

总结

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!