MySQL Query Optimizer 的作用
- MySQL 中有专门负责优化SELECT语句的优化器模块,主要功能:通过计算分析系统中收集到的统计信息,为客户端请求的Query提供他认为最优的执行计划(MySQL认为最优的数据检索方式,但不见得是DBA认为是最优的,这部分最耗费时间)
- 当客户端向MySQL 请求一条Query,命令解析器模块完成请求分类,区别出是SELECT并转发给MySQL Query Optimizer时,MySQL Query Optimizer 首先会对整条Query进行优化,处理掉一些常量表达式的预算,直接换算成常量值。并对Query中的查询条件进行简化和转换,如去掉一些无用或显而易见的条件、结构调整等。然后分析 Query中的Hint信息(如果有),看显示Hint信息是否可以完全确定该Query的执行计划。如果没有Hint 或Hint 信息还不足以完全确定执行计划,则会读取所涉及对象的统计信息,根据Query进行写相应的计算分析,然后再得出最后的执行计划。
Mysql常见瓶颈
- CPU :CPU在饱和的时候一般发生在数据装入在内存或从磁盘上读取数据时候
- IO :磁盘I/O瓶颈发生在装入数据远大于内存容量的时候
- 服务器硬件的性能瓶颈:top、free、iostat和vmstat来查看系统的性能状态
Explain的使用
Explain是什么?
使用Explain关键字可以模拟优化器执行SQL语句,从而知道Mysql是如何处理你的SQL语句的。分析你的查询语句或是结构的性能瓶颈
Explain能干嘛?
表的读取顺序
数据读取操作的操作类型
哪些索引可以使用
哪些索引被实际使用
表之间的引用
每张表有多少行被优化器查询
Explain怎么用?
Explain + SQL语句
执行计划包含的信息(字段):
Explain字段详解
id:
select查询的序列号,包含一组数字,表示查询中执行select子句或操作表的顺序
id的值有三种情况:
id相同,表示执行顺序由上至下,执行顺序是t1、t2、t3
id不同,如果是子查询,id的序号会递增,id值越大优先级越高,越先被执行,所以执行顺序是t3、t2、t1
id相同不同,同时存在:id如果相同,可以认为是一组,从上往下顺序执行;在所有组中,id值越大,优先级越高,越先执行;衍生=DERIVED.执行顺序为t3、derived2、t2
select_type:
查询的类型,主要用于区别普通查询、联合查询、子查询等复杂查询
- SIMPLE:简单的select查询,查询中不包含子查询或者UNION
- PRIMARY:查询中若包含任何复杂的子部分,最外层查询则被标记为PRIMARY
- SUBQUERY:在SELECT或者WHERE列表中包含了子查询
- DERIVED:在FROM列表中包含的子查询被标记为DERIVED(衍生)MySQL会递归执行这些子查询,把结果放在临时表里
- UNION:若第二个SELECT出现在UNION之后,则被标记为UNION;若UNION包含在FROM子句的子查询中,外层SELECT将被标记为:DERIVED
- UNION RESULT:从UNION表获取结果的SELECT
测试:
1 | explain |
table:显示这一行的数据是关于哪张表的
type:访问类型排列,显示查询使用了何种类型
type显示的是访问类型,是较为重要的一个指标,结果值从最好到最坏依次是,百万级数据量尤为注意,All为全表扫描:
1
system>const>eq_ref>ref>fultext>ref_or_null>index_merge>unique_subquery>index_subquery>range>index>ALL
挑重要的来说:
system>const>eq_ref>ref>range>index>ALL
,一般来说,得保证查询至少达到range级别,最好能达到ref。
从最好到最差依次是:system>const>eq_ref>ref>range>index>ALL
1.system:表只有一行记录(等于系统表),这是const类型的特例,平时不会出现,这个也可以忽略不计
2.const:表示通过索引一次就找到了,const用于比较primary key或者unique索引。因为只匹配一行数据,所以很快。如将主键置于where列表中,MySQL就能将该查询转换为一个常量
3.eq_ref:唯一性索引,对于每个索引键,表中只有一条记录与之匹配,常见于主键或唯一索引扫描
4.ref:非唯一索引扫描,返回匹配某个单独值的所有行。本质上也是一种索引访问,它返回所有匹配某个单独值的行,然而,它可能会找到多个符合条件的行,所以他应该属于查找和扫描的混合体
5.range:只检索给定范围的行,使用一个索引来选择行。key列显示使用了哪个索引一般就是在你的where语句中出现了between
、<
、>
、in
等的查询这种范围扫描索引扫描比全表扫描要好,因为他只需要开始索引的某一点,而结束于另一点,不用扫描全部索引
6.index:Full Index Scan,index与ALL区别为index类型只遍历索引树。这通常比ALL快,因为索引文件通常比数据文件小。(也就是说虽然all和index都是读全表,但index是从索引中读取的,而all是从硬盘数据库文件中读的)
7.all:FullTable Scan,将遍历全表以找到匹配的行(全表扫描)
possible_keys:
显示可能应用在这张表中的索引,一个或多个;查询涉及到的字段上若存在索引,则该索引将被列出,但不一定被查询实际使用;
key:
实际使用的索引,如果为null,则表示没有使用索引;若查询中使用了覆盖索引,则该索引仅出现在key列表中;
key_len:
表示索引中使用的字节数,可通过该列计算查询中使用的索引的长度。在不损失精确性的情况下,长度越短越好;
key_len显示的值为索引最大可能长度,并非实际使用长度,即key_len是根据表定义计算而得,不是通过表内检索出的
ref:
显示索引的哪一列被使用了,如果可能的话,是一个常数,哪些列或常量被用于查找索引列上的值;
rows:
根据表统计信息及索引选用情况,大致估算出找到所需的记录所需要读取的行数
Extra:
包含不适合在其他列中显示但十分重要的额外信息,三千个较为重要
1.Using filesort(文件排序):
- MySQL中无法利用索引完成排序操作成为“文件排序”
- 说明mysql会对数据使用一个外部的索引排序,而不是按照表内的索引顺序进行读取
- 出现 Using filesort 不好(九死一生),需要尽快优化 SQL
- 示例中第一个查询只使用了 col1 和 col3,原有索引派不上用场,所以进行了外部文件排序
- 示例中第二个查询使用了 col1、col2 和 col3,原有索引派上用场,无需进行文件排序
2.Using temporaty(创建了临时表):
- 使用了临时表保存中间结果,MySQL在对查询结果排序时使用临时表。常见于排序 order by 和分组查询 group by
- 出现 Using temporary 超级不好(十死无生),需要立即优化 SQL
- 示例中第一个查询只使用了 col1,原有索引派不上用场,所以创建了临时表进行分组
- 示例中第二个查询使用了 col1、col2,原有索引派上用场,无需创建临时表
3.Using index(覆盖索引):
- 表示相应的select操作中使用了覆盖索引(Coveing Index),避免访问了表的数据行,效率不错!
- 如果同时出现using where,表明索引被用来执行索引键值的查找
- 如果没有同时出现using where,表明索引用来读取数据而非执行查找动作
- 覆盖索引(Covering Index),也说为索引覆盖
- 理解方式一:就是select的数据列只用从索引中就能够取得,不必读取数据行,MySQL可以利用索引返回select列表中的字段,而不必根据索引再次读取数据文件,换句话说查询列要被所建的索引覆盖。
- 理解方式二:索引是高效找到行的一个方法,但是一般数据库也能使用索引找到一个列的数据,因此它不必读取整个行。毕竟索引叶子节点存储了它们索引的数据;当能通过读取索引就可以得到想要的数据,那就不需要读取行了。一个索引包含了(或覆盖了)满足查询结果的数据就叫做覆盖索引。
- 注意:如果要使用覆盖索引,一定要注意select列表中只取出需要的列,不可
select *
,因为如果将所有字段一起做索引会导致索引文件过大,查询性能下降。
4.Using where:表明使用了where过滤
5.Using join buffer:表明使用了连接缓存
6.impossible where:where子句的值总是false,不能用来获取任何元组
7.select tables optimized away:在没有GROUPBY子句的情况下,基于索引优化MIN/MAX操作或者对于MyISAM存储引擎优化COUNT(*)
操作,不必等到执行阶段再进行计算,查询执行计划生成的阶段即完成优化。
8.distinct:优化distinct,在找到第一匹配的元组后即停止找同样值的工作
Explain之热身Case
执行流程分析:
- 第一行(执行顺序4):id列为1,表示是union里的第一个select,select_type列的primary表示该查询为外层查询,table列被标记为
<derived3>
,表示查询结果来自一个衍生表,其中derived3中3代表该查询衍生自第三个select查询,即id为3的select。【select d1.name ...
】 - 第二行(执行顺序2):id为3,是整个查询中第三个select的一部分。因查询包含在from中,所以为derived。【
select id, name from t1 where other_column= ' '
】 - 第三行(执行顺序3):select列表中的子查询select_type为subquery,为整个查询中的第二个select。【
select id from t3
】 - 第四行(执行顺序1):select_type为union,说明第四个select是union里的第二个select,最先执行【
select name, id from t2
】 - 第五行(执行顺序5):代表从union的临时表中读取行的阶段,table列的<union1, 4>表示用第一个和第四个select的结果进行union操作。【两个结果进行uinion操作】