MySQL周期表管理太繁琐，通过Python自定义工具方法优雅解决

这是学习笔记的第 2149 篇文章

最近的数据库小问题还是零零散散会出现，通过这些零星的小问题可以发现很多潜在问题的端倪。 所以准备在一些技术储备方面要多投入一些，把这些基础打扎实。

比如对于按照时间维度的日表，我们在此成为周期表，对于它的管理看起来很简单，实际上会有很多潜在的问题，对此我会提供一些改进的思路。

比如日表test_data_20190101，它存储的是1月1日的数据，这种数据模型中的数据基本都是流水型/日志数据，所以数据不需要保留太长时间，在用到的时候够查就可以了，一般设置为1个月，那么test_data表在20190201的时候就删除20190101的数据了，这里就存在一系列的问题，核心思想就是：怎么保证这个过程是可控的。通常会出现很多方面的问题:

1)周期表没有生成，业务写入失败

2）过期周期表没有按时清理，磁盘空间报警

3）误删除周期表，导致数据无法回复

4）管理多个周期表，没有提醒的机制，导致人为跟进出错概率高

5）周期表创建了，可能权限没有刷新

6）周期表创建了，但是业务压根没有用到，数据量一直是0

7）周期表创建了，但是不连续，比如有的月份是31天，只创建了30天

当然还有很多，对此我的目标是把这些潜在的问题都解决掉，转换为一种闭环的操作。

所以看起来一个很简单的操作，在引入一个特定的场景后（目前维护的有60多张周期表，时间范围各不相同），就会发现要处理的问题实在是太多了。

从功能设计上，有下面的一些小的功能需要完善和补充：

• 生成周期表的创建语句

• 检测失效的周期表

• 转置失效的周期表

• 删除失效的周期表

• 周期表阈值检测

• 数据是否存在的检测

• 周期表连续性检查

• 周期表可访问预检查

• 周期表自动创建

对于里面的一个功能，如何检测周期表是否连续，出发点是很好的，但是在实现的时候发现比想象的要复杂一些。

在今天的总结中，我的最大收获就是想明白，重视设计，写出来一二三，然后按照设计的思路，完成之后就会事半功倍。

简单的梳理，我发现时间管理方面有很多重复的功能，如果每次都去单独处理，其实还是挺繁琐的，索性写了一堆的工具方法。

• N个小时后的时间

• N个小时前的时间

• 今天前的第N天

• 今天后的第N天

• 今天以前的N天列表

• 今天以后的N天列表

• 指定时间范围的时间列表

• 判断日期是否在日期范围之内

• 两个日期列表相同的日期

• 两个日期列表差异的日期

相关的部分代码如下：

# 得到几个小时前的时间

def beforeHours2Date(hours, date_format='%Y-%m-%d %H:%M:%S'): hours = int(hours) t = time.time - hours*60*60 t = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(t)) return t

# 得到几个小时后的时间

def afterHours2Date(hours, date_format='%Y-%m-%d %H:%M:%S'): hours = int(hours) t = time.time + hours*60*60 t = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(t)) return t

# 得到几天前的日期

def beforeDays2Date(days, date_format='%Y-%m-%d %H:%M:%S'): days = int(days) t = time.time - days*60*60*24 t = time.strftime('%Y-%m-%d', time.localtime(t)) return t

# 得到几天后的日期

def afterDays2Date(days, date_format='%Y-%m-%d %H:%M:%S'): days = int(days) t = time.time + days*60*60*24 t = time.strftime('%Y-%m-%d', time.localtime(t)) return t

#得到几天前到今天的日期列表

def beforeDays2Datelist(n): before_n_days =  for i in range(1, n + 1)[::-1]: before_n_days.append(str(datetime.date.today - datetime.timedelta(days=i))) return before_n_days

# 得到今天到几天后的日期列表

def afterDays2Datelist(n): before_n_days =  for i in range(1, n + 1)[::-1]: before_n_days.append(str(datetime.date.today + datetime.timedelta(days=i) )) return before_n_days

# 根据起始和截止日期得到日期列表

def get_datelist_by_start_end(datestart,dateend): data_list_arr =  datestart = str_to_date_day(datestart) dateend = str_to_date_day(dateend) data_list_arr.append(date_day_to_str(datestart)) while datestart < dateend: datestart += datetime.timedelta(days=1) next_day = datestart.strftime('%Y-%m-%d') data_list_arr.append(next_day) return data_list_arr

# 转换字符串为时间

def str_to_date_time(time_str): return datetime.datetime.strptime(time_str, '%Y-%m-%d %H:%M:%S')

# 转换时间为字符串

def date_time_to_str(time1): return time1.strftime("%Y-%m-%d %H:%M:%S")

# 转换字符串为日期

def str_to_date_day(time_str): return datetime.datetime.strptime(time_str, '%Y-%m-%d')

# 转换日期为字符串

def date_day_to_str(time1): return time1.strftime("%Y-%m-%d")

# 判断日期是否在指定的列表中

def date_in_range(date_str,start_date,end_date): return date_str in get_datelist_by_start_end(start_date,end_date)

# 得到指定时间范围内不连续的日期

def discontinuous_date_in_list(start_date,end_date,date_list): defined_list = get_datelist_by_start_end(start_date, end_date) return list(set(defined_list).difference(set(date_list)))

比如我的一个需求，得到不连续的日期，调用函数discontinuous_date_in_list，输入参数为起始日期，结束日期，然后提供一个时间列表进行比对。

print discontinuous_date_in_list('2019-10-21','2019-11-01',['2019-10-21','2019-10-23'])

输出为：

['2019-10-22', '2019-10-27', '2019-10-26', '2019-10-25', '2019-10-24', '2019-10-29', '2019-10-28', '2019-10-30', '2019-10-31', '2019-11-01']

可以看到很简短的代码就实现了一些繁琐的逻辑调用，而在后续的功能开发中，时间部分的处理也能高效很多。

简单一句话：不要轻视设计，然后像拼装乐高一样完成逻辑集成。