索引的目的在于提高查询效率
一 索引分类
1、普通索引 index
加速查询
2、唯一索引
2.1、主键索引 primary key
加速查询+约束(不为空且唯一)
2.2、唯一索引 unique
加速查询+约束(唯一)
3、联合索引
-- index(id,name) 联合普通索引
-- primary key(id,name) 联合主键索引
-- unique(id,name) 联合唯一索引
4、全文索引 fulltext
用于搜索很长文章的时候效果最好。
5、空间索引 spatial
二 索引类型
# 我们可以在创建索引的时候,为其指定索引类型,分两类
1、hash类型
查询单条快,范围查询慢
2、btree类型 B+树
b+树,层级越多,数据量指数级增长
#不同的存储引擎支持的索引类型也不一样
InnoDB 支持事务,支持行级别锁定,支持 B-tree、Full-text 等索引,不支持 Hash 索引;
MyISAM 不支持事务,支持表级别锁定,支持 B-tree、Full-text 等索引,不支持 Hash 索引;
Memory 不支持事务,支持表级别锁定,支持 B-tree、Hash 等索引,不支持 Full-text 索引;
NDB 支持事务,支持行级别锁定,支持 Hash 索引,不支持 B-tree、Full-text 等索引;
Archive 不支持事务,支持表级别锁定,不支持 B-tree、Hash、Full-text 等索引;
三 创建\删除索引的语法
1、创建索引
# 在创建表时就添加索引 及 注意事项
create table TABLE_NAME(
id int, # 可以添加primary key
# id int index, # 不可以这么添加索引,因为index是普通索引,没有约束一说,所以不能像主键索引和唯一索引那样在定义字段的时候加索引
name char(20),
age int,
email varchar(30)
# primary key(id) # 也可以为主键这样添加索引
# index(id) # 虽然不能在定义字段的同时添加普通索引,但是通过这种方式为字段添加普通索引
);
# 在创建表之后添加索引
create index name on TABLE_NAME(name); # 添加普通索引
create unique age on TABLE_NAME(age); # 添加唯一索引
alter table TABLE_NAME add primary key(id); # 添加主键索引,也就是给id字段增减一个主键约束
create index name on TABLE_NAME(id,name); # 添加普通联合索引
2、删除索引
drop index name on TABLE_NAME; # 删除普通索引
drop index age on TABLE_NAME; # 删除唯一索引,就和普通索引一样,不用在index前加unique就可以删除
alter table TABLE_NAME drop promary key; # 删除主键(因为它添加的时候是按照alter来增加的,那么我们也用alter来删)
四 测试索引
1、准备表
create table TABLE_NAME(
id int,
name varchar(20),
gender char(6),
email varchar(50)
);
2、创建存储过程,实现批量插入记录
delimiter $$ #声明存储过程的结束符号为$$
create procedure auto_insert1()
BEGIN
declare i int default 1;
while(i<3000000)do
insert into s1 values(i,concat('egon',i),'male',concat('egon',i,'@oldboy'));
set i=i+1;
end while;
END$$ #$$结束
delimiter ; #重新声明分号为结束符号
3、查看存储过程
show create procedure auto_insert1\G
4、调用存储过程
call auto_insert1();
- # 准备测试表
- create table TEST_TABLE_SUOYIN(
- id int,
- name varchar(20),
- gender char(6),
- email varchar(50)
- );
- # 创建存储过程,实现批量插入记录
- delimiter $$ #声明存储过程的结束符号为$$
- create procedure auto_insert1()
- BEGIN
- declare i int default 1;
- while(i<3000000)do
- insert into TEST_TABLE_SUOYIN values(i,concat('egon',i),'male',concat('egon',i,'@oldboy'));
- set i=i+1;
- end while;
- END$$ #$$结束
- delimiter ; #重新声明分号为结束符号
- # 查看存储过程
- show create procedure auto_insert1;
- # 调用存储过程
- call auto_insert1();
- # 未添加索引
- select * from TEST_TABLE_SUOYIN where id = 1000; # 1.287s
- select * from TEST_TABLE_SUOYIN where id BETWEEN 1000 and 100000; # 1.306s
- select * from TEST_TABLE_SUOYIN where id>= 1000 and id <= 10000; # 1.337s
- select * from TEST_TABLE_SUOYIN where name = 'egon1000'; # 1.392s
- select * from TEST_TABLE_SUOYIN where id = 12000 and name = 'egon12000'; # 1.292s
- select * from TEST_TABLE_SUOYIN where email = 'egon10002@oldboy'; # 1.424s
- select * from TEST_TABLE_SUOYIN where gender = 'male' and email = 'egon10002@oldboy'; # 1.628s
- # 添加主键索引
- alter table TEST_TABLE_SUOYIN add primary key(id);
- # 添加普通索引 的两种方式
- create index name on TEST_TABLE_SUOYIN(name);
- alter table TEST_TABLE_SUOYIN add index(gender);
- # 添加组合索引 的两种方式
- create index i_id_name on TEST_TABLE_SUOYIN(id, name);
- alter table TEST_TABLE_SUOYIN add index(name, gender, email);
- # 添加唯一索引
- alter table TEST_TABLE_SUOYIN add unique(email);
- # 已添加索引
- select id, name, gender, email from TEST_TABLE_SUOYIN where id = 1000; # 0.008s
- select id, name, gender, email from TEST_TABLE_SUOYIN where id BETWEEN 1000 and 100000; # 0.021s
- select id, name, gender, email from TEST_TABLE_SUOYIN where id>= 1000 and id <= 10000; # 0.007s
- select id, name, gender, email from TEST_TABLE_SUOYIN where name = 'egon1000'; # 0.008s
- select id, name, gender, email from TEST_TABLE_SUOYIN where id = 12000 and name = 'egon12000'; # 0.007s
- select id, name, gender, email from TEST_TABLE_SUOYIN where email = 'egon10002@oldboy'; # 0.007s
- # index(name, gender, email) 仅添加这个组合索引
- select id, name, gender, email from TEST_TABLE_SUOYIN where gender = 'male' and email = 'egon10002@oldboy'; # 0.000s 索引失效 未遵守最左前缀匹配原则
- select id, name, gender, email from TEST_TABLE_SUOYIN where gender = 'male' and email = 'egon10002@oldboy' and name = 'egon10002'; # 0.001s 索引有效 遵守最左前缀匹配原则
- # 索引无法命中的情况 %模糊查询
- # 所以得出结论 %加在前面所以无法命中 只能加在后面才能够命中
- select * from TEST_TABLE_SUOYIN where email like '%on10000@oldboy'; # 1.925s
- select * from TEST_TABLE_SUOYIN where email like '%on10000@%'; # 1.940s
- select * from TEST_TABLE_SUOYIN where email like 'egon10000@%'; # 0.008s
- # 索引无法命中的情况 使用函数
- select * from TEST_TABLE_SUOYIN where REVERSE(email) = 'yobdlo@00001noge'; # 1.840s
- # 索引无法命中的情况 or
- # 在测试这个情况时 我删除了 gender 的索引;特别在于 or 前后的列有未添加索引的 索引才会失效;如果前后两个列都有索引,则索引生效
- select * from TEST_TABLE_SUOYIN where id = 1000000 or gender = 'sss'; # 索引未命中
- select * from TEST_TABLE_SUOYIN where id = 1000000 or email = 'egon1000000@oldboy'; # 索引命中
- # 索引无法命中的情况 类型不一致
- # email的类型是字符串,如果查询的值类型不是字符串则不会命中索引
- select * from TEST_TABLE_SUOYIN where email = 123; # 2.133s
- select * from TEST_TABLE_SUOYIN where email = 'egon1000000@oldboy'; # 0.008s
- # 索引无法命中的情况 !=
- # 因为数据量太大 所以无法直观的测出来
- select * from TEST_TABLE_SUOYIN where id != 1; # 文章上说:主键的 != 会走索引
- select * from TEST_TABLE_SUOYIN where email != 'egon1@oldboy'; # 反之则不会
- # 索引无法命中的情况 > <
- # 文章上说:主键或索引是整数类型的可以命中索引,但是实测字符也是可以命中的
- select * from TEST_TABLE_SUOYIN where id > 2999999; # 0.002s
- select * from TEST_TABLE_SUOYIN where id < 2; # 0.006s
- select * from TEST_TABLE_SUOYIN where email > 'xxxx'; # 0.001s
- # 索引无法命中的情况 ORDER BY
- # 从第一次查询出来的结果看 查询 gender 的时间明显比 id 要久,所以 order by的条件列有索引 查询结果列 也需要有索引 才会命中索引
- # 但是如果对主键排序 则不看 结果列 是否有索引 也会命中索引
- select gender from TEST_TABLE_SUOYIN where id BETWEEN 1000 and 10000 order by name DESC; # 0.020s
- select id from TEST_TABLE_SUOYIN where id BETWEEN 1000 and 10000 order by name DESC; # 0.005s
- # 索引无法命中的情况 最左前缀原则(组合索引)
- # 比如 添加 index(a,b,c,d)这个组合索引 以下例子是否命中索引
- select * from dual where c = 1 and d = 1 and b = 1 and a = 1; # 命中索引
- select * from dual where c = 1 and d = 1 and b = 1; # 未命中索引 因为(a不在查询条件中,且a在组合索引种的第一位,所以之后的索引都不会命中)
- SELECT * from dual where a = 1 and c = 1 and d = 1; # 仅只有a命中索引(b不在查询条件中,且b在组合索引种的第二位,所以之后的索引都不会命中)
- # 索引无法命中的情况 count(?)
- # 文章中说count(1) | count(列名) 代替 count(*) 这样会命中索引 但是实测下来 没有区别;
- select count(*) from TEST_TABLE_SUOYIN; # 1.732s
- select count(1) from TEST_TABLE_SUOYIN; # 2.060s
- select count(id) from TEST_TABLE_SUOYIN; # 1.778s
- # 索引无法命中的情况 添加索引时 如果列类型时text类型的,必须制定长度
- create index index_name on table_name(title(19)) #text类型,必须制定长度
- # 删除主键索引
- alter table TEST_TABLE_SUOYIN drop PRIMARY key;
- # 删除普通索引
- drop index name on TEST_TABLE_SUOYIN;
- drop index gender on TEST_TABLE_SUOYIN;
- # 删除唯一索引
- drop index email on TEST_TABLE_SUOYIN;
- # 删除组合索引
- drop index i_id_name on TEST_TABLE_SUOYIN;
- drop index name_2 on TEST_TABLE_SUOYIN;
五 正确使用索引
1、覆盖索引
#分析
select * from TABLE_NAME where id=123;
该sql命中了索引,但未覆盖索引。
利用id=123到索引的数据结构中定位到该id在硬盘中的位置,或者说再数据表中的位置。
但是我们select的字段为*,除了id以外还需要其他字段,这就意味着,我们通过索引结构取到id还不够,
还需要利用该id再去找到该id所在行的其他字段值,这是需要时间的,很明显,如果我们只select id,
就减去了这份苦恼,如下
select id from TABLE_NAME where id=123;
这条就是覆盖索引了,命中索引,且从索引的数据结构直接就取到了id在硬盘的地址,速度很快
2、联合索引
create index ne on s1(name,email);#组合索引
3、索引合并
#索引合并:把多个单列索引合并使用
#分析:
组合索引能做到的事情,我们都可以用索引合并去解决,比如
create index ne on s1(name,email);#组合索引
我们完全可以单独为name和email创建索引
组合索引可以命中:
select * from s1 where name='egon' ;
select * from s1 where name='egon' and email='adf';
索引合并可以命中:
select * from s1 where name='egon' ;
select * from s1 where email='adf';
select * from s1 where name='egon' and email='adf';
乍一看好像索引合并更好了:可以命中更多的情况,但其实要分情况去看,如果是name='egon' and email='adf',
那么组合索引的效率要高于索引合并,如果是单条件查,那么还是用索引合并比较合理
4、添加索引遵循原则
#1、最左前缀匹配原则,非常重要的原则,
create index ix_name_email on s1(name,email,)
- 最左前缀匹配:必须按照从左到右的顺序匹配
select * from s1 where name='egon'; #可以
select * from s1 where name='egon' and email='asdf'; #可以
select * from s1 where email='alex@oldboy.com'; #不可以
mysql会一直向右匹配直到遇到范围查询(>、<、between、like)就停止匹配,
比如a = 1 and b = 2 and c > 3 and d = 4 如果建立(a,b,c,d)顺序的索引,
d是用不到索引的,如果建立(a,b,d,c)的索引则都可以用到,a,b,d的顺序可以任意调整。
#2、=和in可以乱序,比如a = 1 and b = 2 and c = 3 建立(a,b,c)索引可以任意顺序,mysql的查询优化器会帮你优化成索引可以识别的形式
#3、尽量选择区分度高的列作为索引,区分度的公式是count(distinct col)/count(*),
表示字段不重复的比例,比例越大我们扫描的记录数越少,唯一键的区分度是1,而一些状态、性别字段可能在大数据面前区分度就是0,那可能有人会问,这个比例有什么经验值吗?使用场景不同,
这个值也很难确定,一般需要join的字段我们都要求是0.1以上,即平均1条扫描10条记录
#4、索引列不能参与计算,保持列“干净”,比如from_unixtime(create_time) = ’2014-05-29’
就不能使用到索引,原因很简单,b+树中存的都是数据表中的字段值,但进行检索时,需要把所有元素都应用函数才能比较,显然成本太大。所以语句应该写成create_time = unix_timestamp(’2014-05-29’);
最左前缀示范
- select * from s1 where id>3 and name='egon' and email='alex333@oldboy.com' and gender='male';
- create index idx on s1(id,name,email,gender); #未遵循最左前缀
- select * from s1 where id>3 and name='egon' and email='alex333@oldboy.com' and gender='male';
- drop index idx on s1;
- create index idx on s1(name,email,gender,id); #遵循最左前缀
- select * from s1 where id>3 and name='egon' and email='alex333@oldboy.com' and gender='male';
- 1 最左前缀匹配
- 2 index(id,age,email,name);
- 3 #条件中一定要出现id(只要出现id就会提升速度)
- 4 id
- 5 id age
- 6 id email
- 7 id name
- 8
- 9 email #不行 如果单独这个开头就不能提升速度了
- 10 mysql> select count(*) from s1 where id=3000;
- 11 +----------+
- 12 | count(*) |
- 13 +----------+
- 14 | 1 |
- 15 +----------+
- 16 1 row in set (0.11 sec)
- 17
- 18 mysql> create index xxx on s1(id,name,age,email);
- 19 Query OK, 0 rows affected (6.44 sec)
- 20 Records: 0 Duplicates: 0 Warnings: 0
- 21
- 22 mysql> select count(*) from s1 where id=3000;
- 23 +----------+
- 24 | count(*) |
- 25 +----------+
- 26 | 1 |
- 27 +----------+
- 28 1 row in set (0.00 sec)
- 29
- 30 mysql> select count(*) from s1 where name='egon';
- 31 +----------+
- 32 | count(*) |
- 33 +----------+
- 34 | 299999 |
- 35 +----------+
- 36 1 row in set (0.16 sec)
- 37
- 38 mysql> select count(*) from s1 where email='egon3333@oldboy.com';
- 39 +----------+
- 40 | count(*) |
- 41 +----------+
- 42 | 1 |
- 43 +----------+
- 44 1 row in set (0.15 sec)
- 45
- 46 mysql> select count(*) from s1 where id=1000 and email='egon3333@oldboy.com';
- 47 +----------+
- 48 | count(*) |
- 49 +----------+
- 50 | 0 |
- 51 +----------+
- 52 1 row in set (0.00 sec)
- 53
- 54 mysql> select count(*) from s1 where email='egon3333@oldboy.com' and id=3000;
- 55 +----------+
- 56 | count(*) |
- 57 +----------+
- 58 | 0 |
- 59 +----------+
- 60 1 row in set (0.00 sec)
- 建联合索引,最左匹配
索引无法命中的情况需要注意:
- - like '%xx'
- select * from tb1 where email like '%cn';
-
-
- - 使用函数
- select * from tb1 where reverse(email) = 'wupeiqi';
-
-
- - or
- select * from tb1 where nid = 1 or name = 'seven@live.com';
-
-
- 特别的:当or条件中有未建立索引的列才失效,以下会走索引
- select * from tb1 where nid = 1 or name = 'seven';
- select * from tb1 where nid = 1 or name = 'seven@live.com' and email = 'alex'
-
-
- - 类型不一致
- 如果列是字符串类型,传入条件是必须用引号引起来,不然...
- select * from tb1 where email = 999;
-
- 普通索引的不等于不会走索引
- - !=
- select * from tb1 where email != 'alex'
-
- 特别的:如果是主键,则还是会走索引
- select * from tb1 where nid != 123
- - >
- select * from tb1 where email > 'alex'
-
-
- 特别的:如果是主键或索引是整数类型,则还是会走索引
- select * from tb1 where nid > 123
- select * from tb1 where num > 123
-
-
- #排序条件为索引,则select字段必须也是索引字段,否则无法命中
- - order by
- select name from s1 order by email desc;
- 当根据索引排序时候,select查询的字段如果不是索引,则不走索引
- select email from s1 order by email desc;
- 特别的:如果对主键排序,则还是走索引:
- select * from tb1 order by nid desc;
-
- - 组合索引最左前缀
- 如果组合索引为:(name,email)
- name and email -- 使用索引
- name -- 使用索引
- email -- 不使用索引
-
-
- - count(1)或count(列)代替count(*)在mysql中没有差别了
- - create index xxxx on tb(title(19)) #text类型,必须制定长度
- - 避免使用select *
- - count(1)或count(列) 代替 count(*)
- - 创建表时尽量时 char 代替 varchar
- - 表的字段顺序固定长度的字段优先
- - 组合索引代替多个单列索引(经常使用多个条件查询时)
- - 尽量使用短索引
- - 使用连接(JOIN)来代替子查询(Sub-Queries)
- - 连表时注意条件类型需一致
- - 索引散列值(重复少)不适合建索引,例:性别不适合
六 慢查询优化的基本步骤
0、先运行看看是否真的很慢,注意设置SQL_NO_CACHE
1、where条件单表查,锁定最小返回记录表。这句话的意思是把查询语句的where都应用到表中返回的记录数最小的表开始查起,单表每个字段分别查询,看哪个字段的区分度最高
2、explain查看执行计划,是否与1预期一致(从锁定记录较少的表开始查询)
3、order by limit 形式的sql语句让排序的表优先查
4、了解业务方使用场景
5、加索引时参照建索引的几大原则
6、观察结果,不符合预期继续从0分析