https://stackoverflow.com/questions/10819
-
08-06-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
Russian题
对于某些类型的 SQL 查询，辅助数字表可能非常有用。它可以创建为包含特定任务所需行数的表，也可以创建为返回每个查询所需行数的用户定义函数。
创建这样一个函数的最佳方法是什么？
解决方案
呵呵...抱歉，我这么晚才回复旧帖子。是的，我必须做出回应，因为该线程上最流行的答案（当时是递归 CTE 答案，带有 14 种不同方法的链接）是，嗯……性能充其量受到挑战。
首先，包含 14 种不同解决方案的文章可以很好地了解动态创建数字/计数表的不同方法，但正如文章和引用的线程中所指出的，有一个 非常 重要的引言...
“有关效率和性能的建议通常是主观的。无论是如何使用查询，物理实现都决定查询的效率。因此，与其依靠有偏见的准则，您必须测试查询并确定哪个性能更好。”
讽刺的是，这篇文章本身包含许多主观陈述和“有偏见的指导方针”，例如 “递归 CTE 可以生成一个数字列表 相当有效" 和 “这是 一种有效的方法 使用 Itzik Ben-Gen 发布的新闻组中的 WHILE 循环” （我确信他发布的只是为了比较目的）。来吧各位...仅仅提及 Itzik 的好名声可能就会导致一些可怜的懒虫实际上使用这种可怕的方法。作者应该言出必行，并且在做出如此可笑的错误陈述之前应该做一些性能测试，尤其是在面对任何可扩展性的情况下。
考虑到在对任何代码的用途或某人“喜欢”的内容做出任何主观声明之前实际进行一些测试，这里有一些您可以用来进行自己的测试的代码。为您运行测试的 SPID 设置分析器并亲自检查...只需对数字 1000000 进行“搜索并替换”即可找到您“最喜欢的”号码，然后查看...
--===== Test for 1000000 rows ==================================
GO
--===== Traditional RECURSIVE CTE method
WITH Tally (N) AS
(
SELECT 1 UNION ALL
SELECT 1 + N FROM Tally WHERE N < 1000000
)
SELECT N
INTO #Tally1
FROM Tally
OPTION (MAXRECURSION 0);
GO
--===== Traditional WHILE LOOP method
CREATE TABLE #Tally2 (N INT);
SET NOCOUNT ON;
DECLARE @Index INT;
SET @Index = 1;
WHILE @Index <= 1000000
BEGIN
INSERT #Tally2 (N)
VALUES (@Index);
SET @Index = @Index + 1;
END;
GO
--===== Traditional CROSS JOIN table method
SELECT TOP (1000000)
ROW_NUMBER() OVER (ORDER BY (SELECT 1)) AS N
INTO #Tally3
FROM Master.sys.All_Columns ac1
CROSS JOIN Master.sys.ALL_Columns ac2;
GO
--===== Itzik's CROSS JOINED CTE method
WITH E00(N) AS (SELECT 1 UNION ALL SELECT 1),
E02(N) AS (SELECT 1 FROM E00 a, E00 b),
E04(N) AS (SELECT 1 FROM E02 a, E02 b),
E08(N) AS (SELECT 1 FROM E04 a, E04 b),
E16(N) AS (SELECT 1 FROM E08 a, E08 b),
E32(N) AS (SELECT 1 FROM E16 a, E16 b),
cteTally(N) AS (SELECT ROW_NUMBER() OVER (ORDER BY N) FROM E32)
SELECT N
INTO #Tally4
FROM cteTally
WHERE N <= 1000000;
GO
--===== Housekeeping
DROP TABLE #Tally1, #Tally2, #Tally3, #Tally4;
GO
当我们这样做时，这是我从 SQL Profiler 获得的数字，分别为 100、1000、10000、100000 和 1000000...
SPID TextData Dur(ms) CPU Reads Writes
---- ---------------------------------------- ------- ----- ------- ------
51 --===== Test for 100 rows ============== 8 0 0 0
51 --===== Traditional RECURSIVE CTE method 16 0 868 0
51 --===== Traditional WHILE LOOP method CR 73 16 175 2
51 --===== Traditional CROSS JOIN table met 11 0 80 0
51 --===== Itzik's CROSS JOINED CTE method 6 0 63 0
51 --===== Housekeeping DROP TABLE #Tally 35 31 401 0
51 --===== Test for 1000 rows ============= 0 0 0 0
51 --===== Traditional RECURSIVE CTE method 47 47 8074 0
51 --===== Traditional WHILE LOOP method CR 80 78 1085 0
51 --===== Traditional CROSS JOIN table met 5 0 98 0
51 --===== Itzik's CROSS JOINED CTE method 2 0 83 0
51 --===== Housekeeping DROP TABLE #Tally 6 15 426 0
51 --===== Test for 10000 rows ============ 0 0 0 0
51 --===== Traditional RECURSIVE CTE method 434 344 80230 10
51 --===== Traditional WHILE LOOP method CR 671 563 10240 9
51 --===== Traditional CROSS JOIN table met 25 31 302 15
51 --===== Itzik's CROSS JOINED CTE method 24 0 192 15
51 --===== Housekeeping DROP TABLE #Tally 7 15 531 0
51 --===== Test for 100000 rows =========== 0 0 0 0
51 --===== Traditional RECURSIVE CTE method 4143 3813 800260 154
51 --===== Traditional WHILE LOOP method CR 5820 5547 101380 161
51 --===== Traditional CROSS JOIN table met 160 140 479 211
51 --===== Itzik's CROSS JOINED CTE method 153 141 276 204
51 --===== Housekeeping DROP TABLE #Tally 10 15 761 0
51 --===== Test for 1000000 rows ========== 0 0 0 0
51 --===== Traditional RECURSIVE CTE method 41349 37437 8001048 1601
51 --===== Traditional WHILE LOOP method CR 59138 56141 1012785 1682
51 --===== Traditional CROSS JOIN table met 1224 1219 2429 2101
51 --===== Itzik's CROSS JOINED CTE method 1448 1328 1217 2095
51 --===== Housekeeping DROP TABLE #Tally 8 0 415 0
如你看到的， 递归 CTE 方法在持续时间和 CPU 方面仅次于 While 循环，并且逻辑读取形式的内存压力是 While 循环的 8 倍. 。它是 RBAR 的增强版，对于任何单行计算都应该不惜一切代价避免它，就像应该避免 While 循环一样。 有些地方递归非常有价值，但这不是其中之一.
作为侧栏，先生。丹尼绝对是当之无愧的...大小正确的永久数字或计数表是处理大多数事情的方法。正确尺寸意味着什么？大多数人使用 Tally 表来生成日期或对 VARCHAR(8000) 进行拆分。如果您创建一个 11,000 行的 Tally 表，并在“N”上使用正确的聚集索引，那么您将有足够的行来创建超过 30 年的日期（我经常处理抵押贷款，所以 30 年对我来说是一个关键数字） ）并且当然足以处理 VARCHAR(8000) 分割。为什么“正确的尺寸”如此重要？如果 Tally 表被大量使用，它很容易放入缓存中，这使得它的速度非常快，而且对内存没有太大压力。
最后但并非最不重要的一点是，每个人都知道，如果您创建一个永久 Tally 表，则使用哪种方法来构建它并不重要，因为 1) 它只会创建一次，2) 如果它类似于 11,000 行表中，所有方法都将运行“足够好”。 那么为什么我对使用哪种方法感到愤怒呢？？？
答案是，一些可怜的人/女孩不知道更多，只需要完成他或她的工作，可能会看到类似递归 CTE 方法的东西，并决定将其用于比构建更大、更频繁使用的东西一个永久的理货表，我正在尝试 保护这些人、他们的代码运行的服务器以及拥有这些服务器上数据的公司. 。是的...这是一件大事。它也应该适用于其他人。教导正确的做事方式，而不是“足够好”。在发布或使用帖子或书中的内容之前进行一些测试......事实上，你所拯救的生命可能就是你自己的，特别是如果你认为递归 CTE 是解决此类问题的方法。;-)
感谢收听...
其他提示
最优化的函数是使用表而不是函数。使用函数会导致额外的 CPU 负载来为返回的数据创建值，特别是当返回的值涵盖非常大的范围时。
本文 给出了 14 种不同的可能解决方案，并对每种解决方案进行了讨论。重要的一点是：
有关效率和性能的建议通常是主观的。无论是如何使用查询，物理实现都决定查询的效率。因此，您必须测试查询并确定哪个性能更好，而不是依靠有偏见的准则。
我个人喜欢：
WITH Nbrs ( n ) AS (
SELECT 1 UNION ALL
SELECT 1 + n FROM Nbrs WHERE n < 500 )
SELECT n FROM Nbrs
OPTION ( MAXRECURSION 500 )
这个视图超级快并且包含所有积极的内容 int 价值观。
CREATE VIEW dbo.Numbers
WITH SCHEMABINDING
AS
WITH Int1(z) AS (SELECT 0 UNION ALL SELECT 0)
, Int2(z) AS (SELECT 0 FROM Int1 a CROSS JOIN Int1 b)
, Int4(z) AS (SELECT 0 FROM Int2 a CROSS JOIN Int2 b)
, Int8(z) AS (SELECT 0 FROM Int4 a CROSS JOIN Int4 b)
, Int16(z) AS (SELECT 0 FROM Int8 a CROSS JOIN Int8 b)
, Int32(z) AS (SELECT TOP 2147483647 0 FROM Int16 a CROSS JOIN Int16 b)
SELECT ROW_NUMBER() OVER (ORDER BY z) AS n
FROM Int32
GO
使用 SQL Server 2016+ 生成您可以使用的数字表 OPENJSON :
-- range from 0 to @max - 1
DECLARE @max INT = 40000;
SELECT rn = CAST([key] AS INT)
FROM OPENJSON(CONCAT('[1', REPLICATE(CAST(',1' AS VARCHAR(MAX)),@max-1),']'));
想法取自 我们如何使用 OPENJSON 生成一系列数字？
编辑：请参阅下面康拉德的评论。
杰夫·莫登的回答很棒......但我在 Postgres 上发现 Itzik 方法会失败，除非删除 E32 行。
我在 postgres 上发现的另一种方法稍微快一些（40ms vs 100ms） 这里 适合 postgres：
WITH
E00 (N) AS (
SELECT 1 UNION ALL SELECT 1 UNION ALL SELECT 1 UNION ALL SELECT 1 UNION ALL SELECT 1 UNION ALL
SELECT 1 UNION ALL SELECT 1 UNION ALL SELECT 1 UNION ALL SELECT 1 UNION ALL SELECT 1 ),
E01 (N) AS (SELECT a.N FROM E00 a CROSS JOIN E00 b),
E02 (N) AS (SELECT a.N FROM E01 a CROSS JOIN E01 b ),
E03 (N) AS (SELECT a.N FROM E02 a CROSS JOIN E02 b
LIMIT 11000 -- end record 11,000 good for 30 yrs dates
), -- max is 100,000,000, starts slowing e.g. 1 million 1.5 secs, 2 mil 2.5 secs, 3 mill 4 secs
Tally (N) as (SELECT row_number() OVER (ORDER BY a.N) FROM E03 a)
SELECT N
FROM Tally
当我从 SQL Server 迁移到 Postgres 世界时，可能错过了在该平台上进行统计表的更好方法......整数（）？顺序（）？
再后来，我想贡献一个稍微不同的“传统”CTE（不接触基表来获取行数）：
--===== Hans CROSS JOINED CTE method
WITH Numbers_CTE (Digit)
AS
(SELECT 0 UNION ALL SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4 UNION ALL SELECT 5 UNION ALL SELECT 6 UNION ALL SELECT 7 UNION ALL SELECT 8 UNION ALL SELECT 9)
SELECT HundredThousand.Digit * 100000 + TenThousand.Digit * 10000 + Thousand.Digit * 1000 + Hundred.Digit * 100 + Ten.Digit * 10 + One.Digit AS Number
INTO #Tally5
FROM Numbers_CTE AS One CROSS JOIN Numbers_CTE AS Ten CROSS JOIN Numbers_CTE AS Hundred CROSS JOIN Numbers_CTE AS Thousand CROSS JOIN Numbers_CTE AS TenThousand CROSS JOIN Numbers_CTE AS HundredThousand
此 CTE 执行的 READ 次数多于 Itzik 的 CTE，但少于传统 CTE。然而，它始终比其他查询执行更少的写入。如您所知，写入始终比读取昂贵得多。
持续时间在很大程度上取决于内核数量 (MAXDOP)，但在我的 8 核上，执行速度始终比其他查询更快（持续时间较短（以毫秒为单位））。
我在用：
Microsoft SQL Server 2012 - 11.0.5058.0 (X64)
May 14 2014 18:34:29
Copyright (c) Microsoft Corporation
Enterprise Edition (64-bit) on Windows NT 6.3 <X64> (Build 9600: )
Windows Server 2012 R2、32 GB、Xeon X3450 @2.67Ghz、启用 4 核 HT。
