1. 索引的常见模型
索引可以用于提高读写效率的数据结构很多, 这里介绍三种常见、 也比较简单的数据结构, 它们分别是哈希表、 有序数组和搜索树
1. 哈希表
哈希的思路很简单, 把值放在数组里, 用一个哈希函数把key换算成一个确定的位置, 然后把value放在数组的这个位置。 不可避免地, 多个key值经过哈希函数的换算, 会出现同一个值的情况。 处理这种情况的一种方
法是, 拉出一个链表 。
缺点就是: 哈希表这种结构适用于只有等值查询的场景, 因为不是有序的, 所以哈希索引做区间查询的速度是很慢的。
2. 有序数组
有序数组在等值查询和范围查询场景中的性能就都非常优秀 , 如果仅仅看查询效率, 有序数组就是最好的数据结构了。 但是, 在需要更新数据的时候就麻烦了, 你往中间插入一个记录就必须得挪动后面所有的记录, 成本太高
缺点:中间插入一个记录就必须得挪动后面所有的记录, 成本太高
有序数组索引只适用于静态存储引擎, 比如你要保存的是2017年某个城市的所有人口信息, 这类不会再修改的数据
3.搜索树
N叉树由于在读写上的性能优点, 以及适配磁盘的访问模式, 已经被广泛应用在数据库引擎中了
2. InnoDB 的索引模型
在InnoDB中, 表都是根据主键顺序以索引的形式存放的, 这种存储方式的表称为索引组织表。 InnoDB使用了B+树索引模型, 所以数据都是存储在B+树中的 , 每一个索引在InnoDB里面对应一棵B+树。
B+树能够很好地配合磁盘的读写特性, 减少单次查询的磁盘访问次数
1.索引类型分为主键索引和非主键索引
主键索引的叶子节点存的是整行数据。 在InnoDB里, 主键索引也被称为聚簇索引(clusteredindex) 。
非主键索引的叶子节点内容是主键的值。 在InnoDB里, 非主键索引也被称为二级索引(secondaryindex) 。
3. 基于主键索引和普通索引的查询有什么区别?
如果语句是select * from Twhere ID=500, 即主键查询方式, 则只需要搜索ID这棵B+树;
如果语句是select * from Twhere k=5, 即普通索引查询方式, 则需要先搜索k索引树, 得到ID
的值为500, 再到ID索引树搜索一次。 这个过程称为回表。
基于非主键索引的查询需要多扫描一棵索引树。 因此, 我们在应用中应该尽量使用主键查询。
4. 索引维护
B+树为了维护索引有序性, 在插入新值的时候需要做必要的维护。 如果插入新的行ID值为700, 则只需要在R5的记录后面插入一个新记录。 如果新插入的ID值为400, 就相对麻烦了, 需要逻辑上挪动后面的数据, 空出位置。 而更糟的情况是, 如果R5所在的数据页已经满了, 根据B+树的算法, 这时候需要申请一个新的数据页, 然后挪动部分数据过去。 这个过程称为页分裂。 在这种情况下, 性能自然会受影响。
当然有分裂就有合并。 当相邻两个页由于删除了数据, 利用率很低之后, 会将数据页做合并。 合
并的过程, 可以认为是分裂过程的逆过程。
5. 哪些场景下应该使用自增主键, 而哪些场景下不应该 ?
自增主键是指自增列上定义的主键, 在建表语句中一般是这么定义的: NOTNULL PRIMARYKEY AUTO_INCREMENT。插入新记录的时候可以不指定ID的值, 系统会获取当前ID最大值加1作为下一条记录的ID值
-
从性能方面:自增主键的插入数据模式是递增插入的场景。 每次插入一条新记录, 都是追加操作, 都不涉及到挪动其他记录, 也不会触发叶子节点的分裂。 而有业务逻辑的字段做主键, 则往往不容易保证有序插入, 这样写数据成本相对较高。
-
存储空间的角度 : 由于每个非主键索引的叶子节点上都是主键的值。 如果用身份证号做主键, 那么每个二级索引的叶子节点占用约20个字节, 而如果用整型做主键, 则只要4个字节, 如果是长整型(bigint) 则是 显然, 主键长度越小, 普通索引的叶子节点就越小, 普通索引占用的空间也就越小
-
所以, 从性能和存储空间方面考量, 自增主键往往是更合理的选择。
6. 有没有什么场景适合用业务字段直接做主键的呢?
- 只有一个索引
- 该索引必须是唯一索引
典型的KV场景
要“尽量使用主键查询”原则, 直接将这个索引设置为主键,可以避免每次查询需要搜索两棵树。
7. SQL查询语句的 索引执行流程:
mysql> create table T (
ID int primary key,
k int NOT NULL DEFAULT 0,
s varchar(16) NOT NULL DEFAULT '',
index k(k))
engine=InnoDB;
insert into T values(100,1, 'aa'),(200,2,'bb'),(300,3,'cc'),(500,5,'ee'),(600,6,'ff')
这条SQL查询语句的执行流程:
select * from Twhere k between 3 and 5
- 在k索引树上找到k=3的记录, 取得 ID = 300
- 再到ID索引树查到ID=300对应的R3;
- 在k索引树取下一个值k=5, 取得ID=500;
- 再回到ID索引树查到ID=500对应的R4
- 在k索引树取下一个值k=6, 不满足条件, 循环结束
在这个过程中, 回到主键索引树搜索的过程, 我们称为回表。 可以看到, 这个查询过程读了k
索引树的3条记录(步骤1、 3和5) , 回表了两次(步骤2和4)
8. 覆盖索引
如果执行的语句是select ID from Twhere k between 3 and 5, 这时只需要查ID的值, 而ID的值已经在k索引树上了, 因此可以直接提供查询结果, 不需要回表。 也就是说, 在这个查询里面,索引k已经“覆盖了”我们的查询需求, 我们称为覆盖索引
由于覆盖索引可以减少树的搜索次数, 显著提升查询性能, 所以使用覆盖索引是一个常用
的性能优化手段。
9. 最左前缀原则
B+树这种索引结构, 可以利用索引的“最左前缀”, 来定位记录
我们用(name, age) 这个联合索引来分析。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NLnd0xxy-1577707861977)(C:\Users\yx20180503\AppData\Roaming\Typora\typora-user-images\image-20191209172914182.png)]
索引项是按照索引定义里面出现的字段顺序排序的。
当你的逻辑需求是查到所有名字是“张三”的人时, 可以快速定位到ID4, 然后向后遍历得到所有需要的结果。
如果你要查的是所有名字第一个字是“张”的人, 你的SQL语句的条件是"where name like
‘张%’"。 这时, 你也能够用上这个索引, 查找到第一个符合条件的记录是ID3, 然后向后遍历,直到不满足条件为止
10. 在建立联合索引的时候, 如何安排索引内的字段顺序
当已经有了(a,b)这个联合索引后, 一般就不需要单独在a上建立索引了。 因此, 第一原则是, 如果通过调整顺序, 可以少维护一个索引, 那么这个顺序往往就是需要优先考虑采用的。
11.索引下推
MySQL 5.6之前, 只能从ID3开始一个个回表。 到主键索引上找出数据行, 再对比字段值。
MySQL 5.6 引入的索引下推优化(indexcondition pushdown), 可以在索引遍历过程中, 对索引中包含的字段先做判断, 直接过滤掉不满足条件的记录, 减少回表次数