2.19.09.01 添加 mtls-expired-tables 分析长期没有写入的表

Author: Neeky

MANIFEST

@@ -3,6 +3,7 @@ setup.py
 bin/mtls-backup
 bin/mtls-big-files
 bin/mtls-delete-rows
+bin/mtls-expired-tables
 bin/mtls-file-stat
 bin/mtls-file-truncate
 bin/mtls-http

README.md

@@ -23,6 +23,7 @@ homepage:**http://www.sqlpy.com**
 - [断开所有的客户端连接 -- mtls-kill-all-connections](#断开所有的客户端连接)
 - [统计慢查询文件中的SQL类型与热点表 -- mtls-sql-distribution](#统计慢查询文件中的SQL类型与热点表)
 - [表的最晚更新时间统计 -- mtls-file-stat](#表的最晚更新时间统计)
+- [找出长时间没有使用过的表 -- mtls-expired-tables](#找出长时间没有使用过的表)
 ---
 
 ## 关于
@@ -45,6 +46,7 @@ homepage:**http://www.sqlpy.com**
    |mtls-kill-all-connections | 杀死所有的客户端连接|
    |mtls-sql-distribution | 统计慢查询文件中的SQL类型与热点表 |
    |mtls-file-stat| 表的最晚更新时间统计|
+   |mtls-expired-tables|找出长时间没有使用过的表| 
 
    ---
 
@@ -834,7 +836,32 @@ homepage:**http://www.sqlpy.com**
      --order-by {atime,mtime,ctime}
      --baseline BASELIN
    ```
+   ---
+
+
+## 找出长时间没有使用过的表
+   **如果一张表有好几十天都有写入了，这个往往是因为业务已经不再使用这张表，但是忘记了 drop 它，mtls-expired-tables 就是用于找出这种可疑的表**
+
+   找出最晚写入时间小于一天前的表
+   ```bash
+   mtls-expired-tables --not-used-days=1 /database/mysql/data/3306
+
+   2019-09-02 14:33:24,289 INFO 分析数据目录(/database/mysql/data/3306)
+   2019-09-02 14:33:24,289 INFO 准备过虑出最近修改日期(mtime) < 2019-09-01T14:33:24.289396
+
+   tempdb.ti
+   ```
+   也支持直接保存到文件
+   ```bash
+   mtls-expired-tables --not-used-days=1 /database/mysql/data/3306 > /tmp/expired-tables.log
+   
+   2019-09-02 14:37:12,880 INFO 分析数据目录(/database/mysql/data/3306)
+   2019-09-02 14:37:12,880 INFO 准备过虑出最近修改日期(mtime) < 2019-09-01T14:37:12.880759
+   ```
+   
+
 
+   ---
 
 
 

bin/mtls-expired-tables

@@ -0,0 +1,68 @@
+#!/usr/bin/env python3
+
+import os
+import re
+import sys
+import stat
+import logging
+import argparse
+from datetime import datetime
+from datetime import timedelta
+
+name = os.path.basename(__file__)
+logging.basicConfig(format="%(asctime)s %(levelname)s %(message)s",level=logging.INFO)
+
+def parser_cmd_args() -> argparse.ArgumentParser:
+    """
+    处理命令行参数
+    """
+    parser = argparse.ArgumentParser(name)
+    parser.add_argument('--not-used-days',type=int,default=30)
+    parser.add_argument('datadir',type=str,default="/tmp/")
+    args = parser.parse_args()
+    return args
+
+
+def main():
+    """
+    解析出若干天之内都没有访问过的表
+    """
+    args = parser_cmd_args()
+    baseline = datetime.now() - timedelta(days=args.not_used_days)
+    datadir = args.datadir
+    logging.info(f"分析数据目录({datadir})")
+    logging.info(f"准备过虑出最近修改日期(mtime) < {baseline.isoformat()}")
+    if not os.path.isdir(datadir):
+        logging.error(f"dir '{datadir}' not exits or permission denied ")
+        exit(1)
+
+    # 广度优先搜索 datadir
+
+    schemas = []
+
+    # 解析出存在的数据库
+    for item in os.listdir(args.datadir):
+        path = os.path.join(datadir,item)
+        if os.path.isdir(path):
+            schemas.append(item)
+    schemas = [schema for schema in schemas if schema not in ('mysql','information_schema','sys','performance_schema')]
+
+    expired_tables = []
+    # 从数据库的目录解析文件
+    for schema in schemas:
+        for item in os.listdir(os.path.join(datadir,schema)):
+            path = os.path.join(datadir,schema,item)
+            if os.path.isfile(path) and ( path.endswith('.ibd') or path.endswith('.MYD') ):
+                # 是 .ibd 文件或 .MYD 文件
+                *_,atime,mtime,ctime = os.stat(path)
+                mtime = datetime.fromtimestamp(mtime)
+                if mtime < baseline:
+                    table,*_ = item.split('.')
+                    expired_tables.append(f"{schema}.{table}")
+
+    for table in expired_tables:
+        print(table)
+
+
+if __name__ == "__main__":
+    main()

dist/mysqltools-python-2.19.09.01.tar.gz

@@ -6,12 +6,12 @@
 news_scripts = ['bin/mtls-big-files','bin/mtls-delete-rows','bin/mtls-file-truncate',
                 'bin/mtls-http','bin/mtls-log','bin/mtls-monitor','bin/mtls-backup',
                 'bin/mtls-perf-bench','bin/mtls-kill-all-conections','bin/mtls-sql-distribution',
-                'bin/mtls-file-stat']
+                'bin/mtls-file-stat','bin/mtls-expired-tables']
 
 scripts = olds_scripts + news_scripts
 
 setup(name='mysqltools-python',
-      version='2.19.08.23',
+      version='2.19.09.01',
       scripts=scripts,
       packages=['mtls','mtls.kits'],
       maintainer='Neeky',