MySQL 不使用 JOIN、WHERE 和 ORDER 索引
-
22-07-2019 - |
题
我们有两个类似于简单标记记录结构的表,如下所示(实际上它要复杂得多,但这就是问题的本质):
tag (A.a) | recordId (A.b)
1 | 1
2 | 1
2 | 2
3 | 2
....
和
recordId (B.b) | recordData (B.c)
1 | 123
2 | 666
3 | 1246
问题是获取具有特定标签的有序记录。最明显的方法是使用简单的连接和 (PK)(A.a, A.b), (A.b), (PK)(B.b), (B.b,B.c) 上的索引,如下所示:
select A.a, A.b, B.c from A join B on A.b = B.b where a = 44 order by c;
然而,这会产生令人不快的文件排序结果:
+----+-------------+-------+------+---------------+---------+---------+-----------+------+----------------------------------------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-------+------+---------------+---------+---------+-----------+------+----------------------------------------------+
| 1 | SIMPLE | A | ref | PRIMARY,b | PRIMARY | 4 | const | 94 | Using index; Using temporary; Using filesort |
| 1 | SIMPLE | B | ref | PRIMARY,b | b | 4 | booli.A.b | 1 | Using index |
+----+-------------+-------+------+---------------+---------+---------+-----------+------+----------------------------------------------+
使用巨大且极其冗余的“物化视图”,我们可以获得相当不错的性能,但这是以业务逻辑复杂化为代价的,这是我们希望避免的,特别是因为 A 和 B 表已经是 MV:s(并且是其他查询需要,实际上使用 UNION 的相同查询)。
create temporary table C engine=innodb as (select A.a, A.b, B.c from A join B on A.b = B.b);
explain select a, b, c from C where a = 44 order by c;
使情况进一步复杂化的是我们在 B 表上有条件,例如范围过滤器。
select A.a, A.b, B.c from A join B on A.b = B.b where a = 44 AND B.c > 678 order by c;
但我们有信心,如果文件排序问题消失,我们可以解决这个问题。
有谁知道为什么上面代码块 3 中的简单连接不会使用索引进行排序,以及我们是否可以通过某种方式解决这个问题而不创建新的 MV?
下面是我们用于测试的完整 SQL 列表。
DROP TABLE IF EXISTS A;
DROP TABLE IF EXISTS B;
DROP TABLE IF EXISTS C;
CREATE TEMPORARY TABLE A (a INT NOT NULL, b INT NOT NULL, PRIMARY KEY(a, b), INDEX idx_A_b (b)) ENGINE=INNODB;
CREATE TEMPORARY TABLE B (b INT NOT NULL, c INT NOT NULL, d VARCHAR(5000) NOT NULL DEFAULT '', PRIMARY KEY(b), INDEX idx_B_c (c), INDEX idx_B_b (b, c)) ENGINE=INNODB;
DELIMITER $$
CREATE PROCEDURE prc_filler(cnt INT)
BEGIN
DECLARE _cnt INT;
SET _cnt = 1;
WHILE _cnt <= cnt DO
INSERT IGNORE INTO A SELECT RAND()*100, RAND()*10000;
INSERT IGNORE INTO B SELECT RAND()*10000, RAND()*1000, '';
SET _cnt = _cnt + 1;
END WHILE;
END
$$
DELIMITER ;
START TRANSACTION;
CALL prc_filler(100000);
COMMIT;
DROP PROCEDURE prc_filler;
CREATE TEMPORARY TABLE C ENGINE=INNODB AS (SELECT A.a, A.b, B.c FROM A JOIN B ON A.b = B.b);
ALTER TABLE C ADD (PRIMARY KEY(a, b), INDEX idx_C_a_c (a, c));
EXPLAIN EXTENDED SELECT A.a, A.b, B.c FROM A JOIN B ON A.b = B.b WHERE A.a = 44;
EXPLAIN EXTENDED SELECT A.a, A.b, B.c FROM A JOIN B ON A.b = B.b WHERE 1 ORDER BY B.c;
EXPLAIN EXTENDED SELECT A.a, A.b, B.c FROM A JOIN B ON A.b = B.b where A.a = 44 ORDER BY B.c;
EXPLAIN EXTENDED SELECT a, b, c FROM C WHERE a = 44 ORDER BY c;
-- Added after Quassnois comments
EXPLAIN EXTENDED SELECT A.a, A.b, B.c FROM B FORCE INDEX (idx_B_c) JOIN A ON A.b = B.b WHERE A.a = 44 ORDER BY B.c;
EXPLAIN EXTENDED SELECT A.a, A.b, B.c FROM A JOIN B ON A.b = B.b WHERE A.a = 44 ORDER BY B.c LIMIT 10;
EXPLAIN EXTENDED SELECT A.a, A.b, B.c FROM B FORCE INDEX (idx_B_c) JOIN A ON A.b = B.b WHERE A.a = 44 ORDER BY B.c LIMIT 10;
解决方案
当我尝试使用您的脚本重现此查询时:
SELECT A.a, A.b, B.c
FROM A
JOIN B
ON A.b = B.b
WHERE a = 44
ORDER BY
c
, ,它完成于 0.0043 seconds
(立即),返回 930
行并产生该计划:
1, 'SIMPLE', 'A', 'ref', 'PRIMARY', 'PRIMARY', '4', 'const', 1610, 'Using index; Using temporary; Using filesort'
1, 'SIMPLE', 'B', 'eq_ref', 'PRIMARY', 'PRIMARY', '4', 'test.A.b', 1, ''
对于这样的查询来说,它非常有效。
对于这样的查询,您不能使用单个索引同时进行过滤和排序。
请参阅我博客中的这篇文章以获取更详细的解释:
如果您希望查询返回少量记录,则应该使用索引 A
用于过滤,然后使用文件排序进行排序(就像上面的查询一样)。
如果您希望它返回许多记录(并且 LIMIT
它们),需要使用索引进行排序,然后进行过滤:
CREATE INDEX ix_a_b ON a (b);
CREATE INDEX ix_b_c ON b (c)
SELECT *
FROM B FORCE INDEX (ix_b_c)
JOIN A
ON A.b = B.b
ORDER BY
b.c
LIMIT 10;
1, 'SIMPLE', 'B', 'index', '', 'ix_b_c', '4', '', 2, 'Using index'
1, 'SIMPLE', 'A', 'ref', 'ix_a_b', 'ix_a_b', '4', 'test.B.b', 4, 'Using index'
其他提示
select A.a, A.b, B.c from A join B on A.b = B.b where a = 44 order by c;
如果给列起别名,会有帮助吗?例子:
SELECT
T1.a AS colA,
T2.b AS colB,
T2.c AS colC
FROM A AS T1
JOIN B AS T2
ON (T1.b = T2.b)
WHERE
T1.a = 44
ORDER BY colC;
我所做的唯一改变是:
- 我将连接条件放在括号中
- 连接条件和where条件基于表列
- ORDER BY 条件基于结果表列
- 我为结果表列和查询表添加了别名,以便(希望)在使用其中之一时使其更加清晰(并且对服务器来说更加清晰)。您忽略了在原始查询中的两个位置引用您的列)。
我知道您的真实数据更复杂,但我假设您提供了一个简单版本的查询,因为问题就在这个简单的级别。