阿里手册是阿里工程师多年一线经验的结晶,遵循其中的约定与规范,能很大程度的减少某些未知的隐患。
其规约强度由强到弱分为强制、推荐、参考三大类。
本文详细解读了阿里手册的MySQL部分,如果是一些很明确的、不需要过多解释的约定,本文不会解读。
本文分为四部分:
- 建表规约
- 索引规约
- SQL语句
- ORM映射
1 建表规约
【强制】表达是与否概念的字段,必须使用 is_xxx 的方式命名,数据类型是 unsigned tinyint (1 表示是,0 表示否)。 说明:任何字段如果为非负数,必须是 unsigned。 注意:POJO 类中的任何布尔类型的变量,都不要加 is 前缀,所以,需要在<resultMap>设置 从 is_xxx 到 Xxx 的映射关系。数据库表示是与否的值,使用 tinyint 类型,坚持 is_xxx 的 命名方式是为了明确其取值含义与取值范围。 正例:表达逻辑删除的字段名 is_deleted,1 表示删除,0 表示未删除。
解读:从优化角度来讲,应该按字段的用途来定义合适的类型。表达是与否,用长度为1个字节的tinyint足以。
【强制】表名、字段名必须使用小写字母或数字,禁止出现数字开头,禁止两个下划线中间只 出现数字。数据库字段名的修改代价很大,因为无法进行预发布,所以字段名称需要慎重考虑。 说明:MySQL 在 Windows 下不区分大小写,但在 Linux 下默认是区分大小写。因此,数据库名、 表名、字段名,都不允许出现任何大写字母,避免节外生枝。 正例:aliyun_admin,rdc_config,level3_name 反例:AliyunAdmin,rdcConfig,level_3_name
解读:Win环境下开发,代码中用的表名是小写,本地数据库用的是大写,那么在win环境下没有问题,但发布到linux环境会有问题。Linux下MySQL安装完后默认:区分表名的大小写,不区分列名的大小写
MySQL在Linux下数据库名、表名、列名、别名大小写规则:
(1)数据库名与表名是严格区分大小写
(2)表的别名是严格区分大小写
(3)列名与列的别名在所有的情况下均是忽略大小写的
(4)变量名也是严格区分大小写的
【强制】表名不使用复数名词。 说明:表名应该仅仅表示表里面的实体内容,不应该表示实体数量,对应于 DO 类名也是单数 形式,符合表达习惯。
【强制】禁用保留字,如 desc、range、match、delayed 等,请参考 MySQL 官方保留字。
【强制】主键索引名为 pk_字段名;唯一索引名为 uk_字段名;普通索引名则为 idx_字段名。 说明:pk_ 即 primary key;uk_ 即 unique key;idx_ 即 index 的简称。
【强制】小数类型为 decimal,禁止使用 float 和 double。 说明:float 和 double 在存储的时候,存在精度损失的问题,很可能在值的比较时,得到不 正确的结果。如果存储的数据范围超过 decimal 的范围,建议将数据拆成整数和小数分开存储。
解读:float和double都是浮点型,而decimal是定点型。MySQL 浮点型和定点型可以用类型名称后加(M,D)来表示,M表示该值的总共长度,D表示小数点后面的长度。
FLOAT和DOUBLE在不指定精度时,默认会按照实际的精度来显示,而DECIMAL在不指定精度时,默认整数为10,小数为0。所以建议在定义表时,定义(M,D)。
float和double在设置超过定义长度的数值时,会自动四舍五入,decimal会截断,并给出一条警告。
精度损失问题:float和double类型的列,在做sum计算时,会丢失精度,而decimal会精确计算。
【强制】如果存储的字符串长度几乎相等,使用 char 定长字符串类型。
解读:从优化角度来说,如果一个表的所有字段都是定长的,那么每一条数据也就是定长的,数据库就可以直接计算出下一条数据的偏移量,查询速度会更快。
【强制】varchar 是可变长字符串,不预先分配存储空间,长度不要超过 5000,如果存储长 度大于此值,定义字段类型为 text,独立出来一张表,用主键来对应,避免影响其它字段索 引效率。
解读:MySQL5.0以上版本,varchar最大可以存储65535字节数据(内容开头用1-2个字节存储长度信息,超过255时用两个字节,所以最大65535)。
我们通常编码设置为U8,每个字符最多占3个字节,那么最大长度不能超过21845。
若定义的时候超过上述限制,则varchar字段会被强行转为text类型,并产生warning。
此外,受MYSQL行长度限制影响,MySQL要求一个行的定义长度不能超过65535。若定义的表长度超过这个值,则提示ERROR 1118 (42000): Row size too large。
数据库中定义的varchar(20)指的是20个字符。
关于5000的建议:由于通常定义的U8每个字符占3个字节,那么5000字符需要15000个字节,考虑行最大长度限制和别的列,以及查询性能,推荐5000。
【强制】表必备三字段:id, gmt_create, gmt_modified。 说明:其中id必为主键,类型为bigint unsigned、单表时自增、步长为1。gmt_create, gmt_modified 的类型均为 datetime 类型,前者现在时表示主动创建,后者过去分词表示被动更新。
【推荐】表的命名最好是加上“业务名称_表的作用”。 正例: alipay_task / force_project / trade_config
【推荐】库名与应用名称尽量一致。
【推荐】如果修改字段含义或对字段表示的状态追加时,需要及时更新字段注释。
【推荐】字段允许适当冗余,以提高查询性能,但必须考虑数据一致。冗余字段应遵循: 1) 不是频繁修改的字段。 2) 不是 varchar 超长字段,更不能是 text 字段。 正例: 商品类目名称使用频率高,字段长度短,名称基本一成不变,可在相关联的表中冗余存储类目名称,避免关联查询。
【推荐】单表行数超过 500 万行或者单表容量超过 2GB,才推荐进行分库分表。 说明: 如果预计三年后的数据量根本达不到这个级别,请不要在创建表时就分库分表。
解读:超过后对各方面性能影响较大,淘新闻出现过一次表过大引发的故障。
【参考】合适的字符存储长度,不但节约数据库表空间、节约索引存储,更重要的是提升检索速度。 正例: 人都在150岁之内,用tinyint unsigned存储(取值范围:0-255)。 其中无符号值可以避免误存负数, 且扩大了表示范围
2 索引规约
【强制】业务上具有唯一特性的字段,即使是多个字段的组合,也必须建成唯一索引。 说明: 不要以为唯一索引影响了 insert 速度,这个速度损耗可以忽略,但提高查找速度是明显的; 另外,即使在应用层做了非常完善的校验控制,只要没有唯一索引,根据墨菲定律,必然有脏数据产生。
解读:墨菲定律:如果事情有变坏的可能,不管这种可能性有多小,它总会发生。
【强制】超过三个表禁止 join。需要 join 的字段,数据类型必须绝对一致; 多表关联查询时,保证被关联的字段需要有索引。 说明: 即使双表 join 也要注意表索引、 SQL 性能。
【强制】在 varchar 字段上建立索引时,必须指定索引长度,没必要对全字段建立索引,根据实际文本区分度决定索引长度即可。 说明: 索引的长度与区分度是一对矛盾体,一般对字符串类型数据,长度为 20 的索引,区分度会高达 90%以上,可以使用 count(distinct left(列名, 索引长度))/count(*)的区分度来确定。
解读:区分度是指不重复的索引值和数据表的记录总数的比值,范围(0,1],值越高则查询效率越高。
对于blob,text,varchar的列必须使用前缀索引,MySQL不允许索引这些列的完整长度。
最好选择足够长的前缀保证较高的区分度,也不能太长(节省空间)。
【强制】页面搜索严禁左模糊或者全模糊,如果需要请走搜索引擎来解决。 说明: 索引文件具有 B-Tree 的最左前缀匹配特性,如果左边的值未确定,那么无法使用此索引。
【推荐】如果有 order by 的场景,请注意利用索引的有序性。 order by 最后的字段是组合索引的一部分,并且放在索引组合顺序的最后,避免出现 file_sort 的情况,影响查询性能。 正例: where a=? and b=? order by c; 索引: a_b_c 反例: 索引中有范围查找,那么索引有序性无法利用,如: WHERE a>10 ORDER BY b; 索引a_b 无法排序。
解读:file_sort即在order by时发生的文件排序,如果排序时没有用到索引,就会产生file_sort。
只有当索引的列顺序和order by子句的顺序完全一致,并且所有列的排序方向都一样时,才能用索引排序。如果查询需要关联多张表,只有当order by子句引用的字段全部为第一个表时,才能使用索引排序。
【推荐】利用覆盖索引来进行查询操作, 避免回表。 说明: 如果一本书需要知道第 11 章是什么标题,会翻开第 11 章对应的那一页吗?目录浏览一下就好,这个目录就是起到覆盖索引的作用。 正例: 能够建立索引的种类分为主键索引、唯一索引、普通索引三种,而覆盖索引只是一种查询的一种效果,用 explain 的结果, extra 列会出现: using index。
解读:如果一个索引包含所有需要查询的字段的值,称之为“覆盖索引”。
由于覆盖索引必须要存储索引列的值,哈希索引、空间索引和全文索引都不存储列的值,MySQL只有B-Tree索引可以做覆盖索引。如:对id,name,title三个字段建立索引,在索引中会存储这三个列的值,如果查询:select id,name,title from table where id < 10; 通过explain会看到extra为using index。
如果查询select * from table where id < 10;就不会使用覆盖索引,因为索引中没有包含所有的列值。
【推荐】利用延迟关联或者子查询优化超多分页场景。 说明: MySQL 的limit查询并不是跳过 offset 行,而是取 offset+N 行,然后返回放弃前 offset 行,返回N 行,那当 offset 特别大的时候,效率就非常的低下,要么控制返回的总页数,要么对超过特定阈值的页数进行 SQL 改写。
解读:案例
select count(*) from user_game_info; // 共有956176条数据
select * from user_game_info a limit 900000, 20; // 此查询耗时0.547S
select t1.* from user_game_info t1, (select id from user_game_info limit 900000, 20) t2 where t1.id = t2.id; // 优化后耗时0.178S
【推荐】 SQL 性能优化的目标:至少要达到 range 级别, 要求是 ref 级别, 如果可以是 consts最好。 说明: 1) consts 单表中最多只有一个匹配行( 主键或者唯一索引) ,在优化阶段即可读取到数据。 2) ref 指的是使用普通的索引( normal index) 。 3) range 对索引进行范围检索。 反例: explain 表的结果, type=index,索引物理文件全扫描,速度非常慢,这个 index 级别比较 range 还低,与全表扫描是小巫见大巫。
解读:这里说的是explain中的type字段(连接类型)。
常见的几种类型有:all、index、range、ref、eq_ref、const,从左到右效率依次增强。
1)All:全表扫描
2)Index:先扫描全部索引,再回表获取数据,性能不比all强
3)Range:有范围的索引扫描,between/and/>/</in/or可触发
4)Ref:查找条件列使用了索引而且不为主键和unique
5)Eq_ref:优化器已知查询结果只有一个,在使用了主键或唯一索引的情况下触发
6)Const:将主键放到where后面做等值查询,例如:select * from user_game_info where id = 100;
【推荐】建组合索引的时候,区分度最高的在最左边。 正例: 如果 where a=? and b=? , 如果 a 列的几乎接近于唯一值,那么只需要单建 idx_a索引即可。 说明: 存在非等号和等号混合时,在建索引时,请把等号条件的列前置。如: where c>? andd=? 那么即使 c 的区分度更高,也必须把 d 放在索引的最前列, 即索引 idx_d_c。
【推荐】 防止因字段类型不同造成的隐式转换,导致索引失效。
解读:例如,给上文提到的tb_user_account表的username(varchar)字段加索引,由于字段是varchar类型的,所以上图中的查询类型匹配,命中索引,下图是用int类型匹配的,无法命中索引。
隐式转换规则:
1)两个参数至少有一个是 NULL 时,比较的结果也是 NULL,例外是使用 <=> 对两个 NULL 做比较时会返回 1,这两种情况都不需要做类型转换
2)两个参数都是字符串,会按照字符串来比较,不做类型转换
3)两个参数都是整数,按照整数来比较,不做类型转换
4)十六进制的值和非数字做比较时,会被当做二进制串
5)有一个参数是 TIMESTAMP 或 DATETIME,并且另外一个参数是常量,常量会被转换为 timestamp
6)有一个参数是 decimal 类型,如果另外一个参数是 decimal 或者整数,会将整数转换为 decimal 后进行比较,如果另外一个参数是浮点数,则会把 decimal 转换为浮点数进行比较
7)所有其他情况下,两个参数都会被转换为浮点数再进行比较
【参考】创建索引时避免有如下极端误解: 1) 宁滥勿缺。 认为一个查询就需要建一个索引。 2) 宁缺勿滥。 认为索引会消耗空间、严重拖慢更新和新增速度。 3) 抵制惟一索引。 认为业务的惟一性一律需要在应用层通过“先查后插”方式解决。
3 SQL语句
【强制】不要使用 count(列名)或 count(常量)来替代 count(*), count(*)是 SQL92 定义的标准统计行数的语法,跟数据库无关,跟 NULL 和非 NULL 无关。 说明: count(*)会统计值为 NULL 的行,而 count(列名)不会统计此列为 NULL 值的行。
【强制】 count(distinct col) 计算该列除 NULL 之外的不重复行数, 注意 count(distinctcol1, col2) 如果其中一列全为 NULL,那么即使另一列有不同的值,也返回为 0。
【强制】当某一列的值全是 NULL 时, count(col)的返回结果为 0,但 sum(col)的返回结果为NULL,因此使用 sum()时需注意 NPE 问题。 正例: 可以使用如下方式来避免 sum 的 NPE 问题: SELECT IF(ISNULL(SUM(g)),0,SUM(g))FROM table;
【强制】使用 ISNULL()来判断是否为 NULL 值。 说明: NULL 与任何值的直接比较都为 NULL。 1) NULL<>NULL 的返回结果是 NULL, 而不是 false。 2) NULL=NULL 的返回结果是 NULL, 而不是 true。 3) NULL<>1 的返回结果是 NULL,而不是 true。
【强制】 在代码中写分页查询逻辑时,若 count 为 0 应直接返回,避免执行后面的分页语句。 解读:先查询COUNT,后查询分页数据
【强制】不得使用外键与级联,一切外键概念必须在应用层解决。 说明:以学生和成绩的关系为例,学生表中的 student_id是主键,那么成绩表中的 student_id则为外键。如果更新学生表中的 student_id,同时触发成绩表中的 student_id 更新, 即为级联更新。外键与级联更新适用于单机低并发,不适合分布式、高并发集群; 级联更新是强阻塞,存在数据库更新风暴的风险; 外键影响数据库的插入速度。
【强制】禁止使用存储过程,存储过程难以调试和扩展,更没有移植性。
【强制】数据订正(特别是删除、 修改记录操作) 时,要先 select,避免出现误删除,确认无误才能执行更新语句。
解读:手动执行SQL来修改或删除数据时,先用where后的条件select一遍,确认数据无误后,在执行update或delete。
【推荐】 in 操作能避免则避免,若实在避免不了,需要仔细评估 in 后边的集合元素数量,控制在 1000 个之内。
【参考】 如果有国际化需要,所有的字符存储与表示,均以 utf-8 编码,注意字符统计函数的区别。 说明:SELECT LENGTH(“轻松工作”); 返回为 12,统计字节数SELECT CHARACTER_LENGTH(“轻松工作”); 返回为 4,统计字符数如果需要存储表情,那么选择 utf8mb4 来进行存储,注意它与 utf-8 编码的区别。
解读:utf8可以存储3个字节的数据,utf8mb4可以存储四个字节,专门用来兼容4个字节的unicode,utf8mb4是utf8的超集,将编码从utf8改为utf8mb4无需额外转换。
Emoji表情不在utf8的3个字节的表示范围之内,可以用utf8mb4存储。
【参考】 TRUNCATE TABLE 比 DELETE 速度快,且使用的系统和事务日志资源少,但 TRUNCATE无事务且不触发 trigger,有可能造成事故,故不建议在开发代码中使用此语句。说明: TRUNCATE TABLE 在功能上与不带 WHERE 子句的 DELETE 语句相同。
4 ORM映射
【强制】在表查询中,一律不要使用 * 作为查询的字段列表,需要哪些字段必须明确写明。 说明: 1) 增加查询分析器解析成本。 2) 增减字段容易与 resultMap 配置不一致。 3)无用字段增加网络消耗,尤其是 text 类型的字段。
解读:可以更好的利用“覆盖索引”。
【强制】 POJO 类的布尔属性不能加 is,而数据库字段必须加 is_,要求在 resultMap 中进行字段与属性之间的映射。 说明: 参见定义 POJO 类以及数据库字段定义规定,在<resultMap>中增加映射,是必须的。在 MyBatis Generator 生成的代码中,需要进行对应的修改。
【强制】不要用 resultClass 当返回参数,即使所有类属性名与数据库字段一一对应,也需要定义; 反过来,每一个表也必然有一个 POJO 类与之对应。 说明: 配置映射关系,使字段与 DO 类解耦,方便维护。
【强制】sql.xml 配置参数使用: #{}, #param# 不要使用${} 此种方式容易出现 SQL 注入。
解读:#与$的区别:在预编译中的处理是不一样的。#{} 在预处理时,会把参数部分用一个占位符 ? 代替,如:
select * from user where name = ?;
而 ${} 则只是简单的字符串替换,在动态解析阶段,该 sql 语句会被解析成
select * from user where name = 'zhangsan’;
以上,#{} 的参数替换是发生在 DBMS 中,而 ${} 则发生在动态解析过程中。
【强制】 iBATIS 自带的 queryForList(String statementName,int start,int size)不推荐使用。 说明:其实现方式是在数据库取到 statementName对应的SQL语句的所有记录,再通过 subList取 start,size 的子集合。 正例: Map<String, Object> map = new HashMap<>();map.put("start", start);map.put("size", size);
【强制】不允许直接拿 HashMap 与 Hashtable 作为查询结果集的输出。 说明: resultClass=”Hashtable”, 会置入字段名和属性值,但是值的类型不可控。
【推荐】不要写一个大而全的数据更新接口。 传入为 POJO 类,不管是不是自己的目标更新字段,都进行 update table set c1=value1,c2=value2,c3=value3; 这是不对的。执行 SQL时, 不要更新无改动的字段,一是易出错; 二是效率低; 三是增加 binlog 存储。
【参考】 @Transactional 事务不要滥用。事务会影响数据库的 QPS,另外使用事务的地方需要考虑各方面的回滚方案,包括缓存回滚、搜索引擎回滚、消息补偿、统计修正等。
【参考】 <isEqual>中的 compareValue 是与属性值对比的常量,一般是数字,表示相等时带上此条件; <isNotEmpty>表示不为空且不为 null 时执行; <isNotNull>表示不为 null 值时执行。