如何根据所有的业务 sql，来解析出业务 sql 的模版？

› MySQL 5.5 Community Server

› MySQL 5.6 Community Server

› Percona Configuration Wizard

› XtraBackup 搭建主从复制

Great Sites on MySQL

› Percona

› MySQL Performance Blog

› Severalnines

推荐管理工具

› Sequel Pro

› phpMyAdmin

推荐书目

› MySQL Cookbook

MySQL 相关项目

› MariaDB

› Drizzle

参考文档

› http://mysql-python.sourceforge.net/MySQLdb.html

This topic created in 1967 days ago, the information mentioned may be changed or developed.

当前有这么一个需求，mysql 上记录了所有的慢查询，我想根据此慢查询日志文件，来总结出若干个业务 sql 的模版，相当于腾讯云的 mysql 提供的 sql 模版，那样的功能。

Supplement 1 · Dec 25, 2020

经过大家引导，我确认了下，我想要的功能就是 pt-query-digest 里提供的一部分功能了。我先看看其他开源的替代。

SQL

模版

MySQL

业务

15 replies • 2023-01-29 17:19:48 +08:00

MartinWu

Dec 24, 2020

像这样的。

MartinWu

Dec 24, 2020

我找了一些 python 的模块，发现并不能很好的解析到所有的 sql 语句，对，甚至无法正确解析。我想的是，找到那么一个库，能准确分析出 sql 中的所有元素，这样我也好去汇总。

qiayue

PRO

Dec 24, 2020

看起来是把 = 之后的数值改成问号

MartinWu

Dec 24, 2020

@qiayue 大概是如此，但也不尽如此，还有例如 in，也需要去掉值汇总，也有例如联表查询 tablea.key = tableb.key 时，两个都不可以省略。

YouLMAO

Dec 24, 2020

惊, 你们 sql 是裸写的, 居然不封装函数的, 封装了有啥模板必要性

CoderGeek

Dec 24, 2020

可变参数全改成?嘛没写过 py 现成的导入 slow 文件的工具有的 mysql 自带把前 100 ？

MartinWu

Dec 24, 2020

@YouLMAO #5 我们还有业务是拼 SQL 的骚操作。。。。

MartinWu

Dec 24, 2020

@CoderGeek #6 请问下是哪个工具？

opengps

Dec 24, 2020

这种工具得花点精力找找，着色的容易，很多富文本都支持，格式化的也不算难，但是同时支持格式化着色的，似乎没见过成品

loading

Dec 24, 2020 via Android

应该从业务流程重新抽象出模板，万一 sql 压根就绕了弯路，你再怎么整都没意义。

ETiV

Dec 25, 2020 via iPhone

https://v2ex.com/t/738704
LZ 你可以把你的这个问题丢给这个帖子的 LZ😂
给他一个学习的目标、动力

MartinWu

Dec 25, 2020

@ETiV #11 你这是机智。。。。

zczy

Dec 25, 2020

直接用 calcite 解析试试呢，解析成 SqlNode

joApioVVx4M4X6Rf

Jan 27, 2023

楼主这个问题你解决了吗？最近遇到了类似的问题，搜索到了这个帖子

MartinWu

Jan 29, 2023

@v2exblog 我最后是用 Percona Monitoring and Management