SQL، جدول الأرقام المساعد
https://stackoverflow.com/questions/10819
-
08-06-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
Russianسؤال
بالنسبة لأنواع معينة من استعلامات SQL، يمكن أن يكون جدول الأرقام المساعد مفيدًا جدًا.يمكن إنشاؤه كجدول يحتوي على أكبر عدد ممكن من الصفوف لمهمة معينة أو كوظيفة محددة من قبل المستخدم تقوم بإرجاع عدد الصفوف المطلوبة في كل استعلام.
ما هي الطريقة المثلى لإنشاء مثل هذه الوظيفة؟
المحلول
هيه...آسف لأني تأخرت كثيرا في الرد على مشاركة قديمة.ونعم، كان عليّ الرد لأن الإجابة الأكثر شيوعًا (في ذلك الوقت، إجابة CTE العودية مع الرابط إلى 14 طريقة مختلفة) في هذا الموضوع هي، أممم...تحدي الأداء في أحسن الأحوال.
أولاً، تعتبر المقالة التي تحتوي على 14 حلًا مختلفًا مناسبة لرؤية الطرق المختلفة لإنشاء جدول أرقام/تالي بسرعة ولكن كما هو موضح في المقالة وفي الموضوع المستشهد به، هناك جداً اقتباس مهم...
"الاقتراحات المتعلقة بالكفاءة والأداء غالبًا ما تكون ذاتية.بغض النظر عن كيفية استخدام الاستعلام ، يحدد التنفيذ المادي كفاءة الاستعلام.لذلك ، بدلاً من الاعتماد على الإرشادات المتحيزة ، من الضروري أن تختبر الاستعلام وتحديد أي شخص يؤدي بشكل أفضل. "
ومن المفارقات أن المقالة نفسها تحتوي على العديد من البيانات الشخصية و"المبادئ التوجيهية المتحيزة" مثل "يمكن لـ CTE العودي إنشاء قائمة أرقام بكفاءة عالية" و "هذا هو طريقة فعالة لاستخدام حلقة WHILE من نشر مجموعة أخبار بواسطة Itzik Ben-Gen" (وأنا متأكد من أنه نشره فقط لأغراض المقارنة).هيا يا جماعة...إن مجرد ذكر اسم إيتسيك الجيد قد يدفع بعض السذج إلى استخدام هذه الطريقة الفظيعة.يجب على المؤلف أن يمارس ما يعظ به ويجب أن يجري اختبارًا صغيرًا للأداء قبل الإدلاء بمثل هذه العبارات غير الصحيحة بشكل يبعث على السخرية خاصة في مواجهة أي قابلية للتوسع.
مع التفكير في إجراء بعض الاختبارات فعليًا قبل تقديم أي ادعاءات ذاتية حول ما يفعله أي رمز أو ما "يحبه" شخص ما، إليك بعض التعليمات البرمجية التي يمكنك إجراء اختبارك الخاص بها.ملف تعريف الإعداد لـ SPID الذي تقوم بإجراء الاختبار منه وتحقق منه بنفسك...ما عليك سوى إجراء "بحث واستبدال" للرقم 1000000 لرقمك "المفضل" وانظر...
--===== Test for 1000000 rows ==================================
GO
--===== Traditional RECURSIVE CTE method
WITH Tally (N) AS
(
SELECT 1 UNION ALL
SELECT 1 + N FROM Tally WHERE N < 1000000
)
SELECT N
INTO #Tally1
FROM Tally
OPTION (MAXRECURSION 0);
GO
--===== Traditional WHILE LOOP method
CREATE TABLE #Tally2 (N INT);
SET NOCOUNT ON;
DECLARE @Index INT;
SET @Index = 1;
WHILE @Index <= 1000000
BEGIN
INSERT #Tally2 (N)
VALUES (@Index);
SET @Index = @Index + 1;
END;
GO
--===== Traditional CROSS JOIN table method
SELECT TOP (1000000)
ROW_NUMBER() OVER (ORDER BY (SELECT 1)) AS N
INTO #Tally3
FROM Master.sys.All_Columns ac1
CROSS JOIN Master.sys.ALL_Columns ac2;
GO
--===== Itzik's CROSS JOINED CTE method
WITH E00(N) AS (SELECT 1 UNION ALL SELECT 1),
E02(N) AS (SELECT 1 FROM E00 a, E00 b),
E04(N) AS (SELECT 1 FROM E02 a, E02 b),
E08(N) AS (SELECT 1 FROM E04 a, E04 b),
E16(N) AS (SELECT 1 FROM E08 a, E08 b),
E32(N) AS (SELECT 1 FROM E16 a, E16 b),
cteTally(N) AS (SELECT ROW_NUMBER() OVER (ORDER BY N) FROM E32)
SELECT N
INTO #Tally4
FROM cteTally
WHERE N <= 1000000;
GO
--===== Housekeeping
DROP TABLE #Tally1, #Tally2, #Tally3, #Tally4;
GO
أثناء قيامنا بذلك، إليك الأرقام التي أحصل عليها من SQL Profiler للقيم 100 و1000 و10000 و100000 و1000000...
SPID TextData Dur(ms) CPU Reads Writes
---- ---------------------------------------- ------- ----- ------- ------
51 --===== Test for 100 rows ============== 8 0 0 0
51 --===== Traditional RECURSIVE CTE method 16 0 868 0
51 --===== Traditional WHILE LOOP method CR 73 16 175 2
51 --===== Traditional CROSS JOIN table met 11 0 80 0
51 --===== Itzik's CROSS JOINED CTE method 6 0 63 0
51 --===== Housekeeping DROP TABLE #Tally 35 31 401 0
51 --===== Test for 1000 rows ============= 0 0 0 0
51 --===== Traditional RECURSIVE CTE method 47 47 8074 0
51 --===== Traditional WHILE LOOP method CR 80 78 1085 0
51 --===== Traditional CROSS JOIN table met 5 0 98 0
51 --===== Itzik's CROSS JOINED CTE method 2 0 83 0
51 --===== Housekeeping DROP TABLE #Tally 6 15 426 0
51 --===== Test for 10000 rows ============ 0 0 0 0
51 --===== Traditional RECURSIVE CTE method 434 344 80230 10
51 --===== Traditional WHILE LOOP method CR 671 563 10240 9
51 --===== Traditional CROSS JOIN table met 25 31 302 15
51 --===== Itzik's CROSS JOINED CTE method 24 0 192 15
51 --===== Housekeeping DROP TABLE #Tally 7 15 531 0
51 --===== Test for 100000 rows =========== 0 0 0 0
51 --===== Traditional RECURSIVE CTE method 4143 3813 800260 154
51 --===== Traditional WHILE LOOP method CR 5820 5547 101380 161
51 --===== Traditional CROSS JOIN table met 160 140 479 211
51 --===== Itzik's CROSS JOINED CTE method 153 141 276 204
51 --===== Housekeeping DROP TABLE #Tally 10 15 761 0
51 --===== Test for 1000000 rows ========== 0 0 0 0
51 --===== Traditional RECURSIVE CTE method 41349 37437 8001048 1601
51 --===== Traditional WHILE LOOP method CR 59138 56141 1012785 1682
51 --===== Traditional CROSS JOIN table met 1224 1219 2429 2101
51 --===== Itzik's CROSS JOINED CTE method 1448 1328 1217 2095
51 --===== Housekeeping DROP TABLE #Tally 8 0 415 0
كما ترون، تعتبر طريقة CTE العودية ثاني أسوأ طريقة بعد حلقة while للمدة ووحدة المعالجة المركزية ولديها ضغط ذاكرة أكبر بـ 8 أضعاف في شكل قراءات منطقية من طريقة while Loop.إنه RBAR على المنشطات ويجب تجنبه، بأي ثمن، لأي حسابات صف واحد تمامًا كما يجب تجنب حلقة while. هناك أماكن يكون فيها التكرار ذا قيمة كبيرة ولكن هذا ليس واحدًا منها.
كشريط جانبي، السيد.ديني في مكانه تماماً..يعد جدول الأرقام الدائمة أو جدول Tally ذو الحجم الصحيح هو الحل الأمثل لمعظم الأشياء.ماذا يعني الحجم الصحيح؟حسنًا، يستخدم معظم الأشخاص جدول Tally لإنشاء التواريخ أو إجراء عمليات تقسيم على VARCHAR(8000).إذا قمت بإنشاء جدول رصيد مكون من 11000 صف مع الفهرس المجمع الصحيح على "N"، فسيكون لديك صفوف كافية لإنشاء تواريخ تزيد عن 30 عامًا (أنا أعمل مع الرهن العقاري إلى حد ما، لذا فإن 30 عامًا هو رقم رئيسي بالنسبة لي ) وبالتأكيد يكفي للتعامل مع تقسيم VARCHAR(8000).لماذا يعد "التحجيم الصحيح" مهمًا جدًا؟إذا تم استخدام جدول Tally كثيرًا، فإنه يتناسب بسهولة مع ذاكرة التخزين المؤقت مما يجعله سريعًا للغاية دون ضغط كبير على الذاكرة على الإطلاق.
أخيرًا وليس آخرًا، يعلم الجميع أنه إذا قمت بإنشاء جدول Tally دائم، فلا يهم كثيرًا الطريقة التي تستخدمها لبنائه لأنه 1) سيتم إنشاؤه مرة واحدة فقط و2) إذا كان مثل صف 11000 الجدول، سيتم تشغيل كافة الأساليب "بشكل جيد بما فيه الكفاية". فلماذا كل هذا السخط من جهتي حول الطريقة التي يجب استخدامها؟؟؟
الجواب هو أن بعض الأشخاص الفقيرين الذين لا يعرفون أي شيء أفضل ويحتاجون فقط إلى إنجاز مهمتهم قد يرون شيئًا مثل طريقة CTE العودية ويقررون استخدامها لشيء أكبر بكثير وأكثر استخدامًا من البناء جدول تالي دائم وأنا أحاول ذلك حماية هؤلاء الأشخاص، والخوادم التي تعمل عليها التعليمات البرمجية الخاصة بهم، والشركة التي تمتلك البيانات الموجودة على تلك الخوادم.نعم...إنها صفقة كبيرة.وينبغي أن يكون للجميع، كذلك.قم بتعليم الطريقة الصحيحة لفعل الأشياء بدلاً من "الجيد بما فيه الكفاية".قم بإجراء بعض الاختبارات قبل نشر أو استخدام شيء ما من منشور أو كتاب...في الواقع، قد تكون الحياة التي تنقذها هي حياتك الخاصة، خاصةً إذا كنت تعتقد أن مرض الاعتلال الدماغي المزمن المتكرر هو الحل الأمثل لشيء كهذا.؛-)
شكرا على الإنصات...
نصائح أخرى
ستكون الوظيفة الأمثل هي استخدام جدول بدلاً من الوظيفة.يؤدي استخدام إحدى الوظائف إلى تحميل وحدة المعالجة المركزية الإضافية لإنشاء قيم البيانات التي يتم إرجاعها، خاصة إذا كانت القيم التي يتم إرجاعها تغطي نطاقًا كبيرًا جدًا.
هذا المقال يعطي 14 حلاً مختلفًا ممكنًا مع مناقشة كل منها.النقطة المهمة هي أن:
غالبًا ما تكون الاقتراحات المتعلقة بالكفاءة والأداء شخصيًا.بغض النظر عن كيفية استخدام الاستعلام ، يحدد التنفيذ المادي كفاءة الاستعلام.لذلك ، بدلاً من الاعتماد على الإرشادات المتحيزة ، من الضروري أن تختبر الاستعلام وتحديد أي شخص يؤدي بشكل أفضل.
أنا شخصياً أحببت:
WITH Nbrs ( n ) AS (
SELECT 1 UNION ALL
SELECT 1 + n FROM Nbrs WHERE n < 500 )
SELECT n FROM Nbrs
OPTION ( MAXRECURSION 500 )
هذا المنظر سريع للغاية ويحتوي على كل الإيجابية int قيم.
CREATE VIEW dbo.Numbers
WITH SCHEMABINDING
AS
WITH Int1(z) AS (SELECT 0 UNION ALL SELECT 0)
, Int2(z) AS (SELECT 0 FROM Int1 a CROSS JOIN Int1 b)
, Int4(z) AS (SELECT 0 FROM Int2 a CROSS JOIN Int2 b)
, Int8(z) AS (SELECT 0 FROM Int4 a CROSS JOIN Int4 b)
, Int16(z) AS (SELECT 0 FROM Int8 a CROSS JOIN Int8 b)
, Int32(z) AS (SELECT TOP 2147483647 0 FROM Int16 a CROSS JOIN Int16 b)
SELECT ROW_NUMBER() OVER (ORDER BY z) AS n
FROM Int32
GO
استخدام SQL Server 2016+ لإنشاء جدول أرقام يمكنك استخدامه OPENJSON :
-- range from 0 to @max - 1
DECLARE @max INT = 40000;
SELECT rn = CAST([key] AS INT)
FROM OPENJSON(CONCAT('[1', REPLICATE(CAST(',1' AS VARCHAR(MAX)),@max-1),']'));
الفكرة مأخوذة من كيف يمكننا استخدام OPENJSON لإنشاء سلسلة من الأرقام؟
يحرر:انظر تعليق كونراد أدناه.
إجابة جيف مودين رائعة ...لكنني وجدت في Postgres أن طريقة Itzik تفشل إلا إذا قمت بإزالة الصف E32.
أسرع قليلاً على postgres (40 مللي ثانية مقابل 100 مللي ثانية) هي طريقة أخرى وجدتها هنا تتكيف مع postgres:
WITH
E00 (N) AS (
SELECT 1 UNION ALL SELECT 1 UNION ALL SELECT 1 UNION ALL SELECT 1 UNION ALL SELECT 1 UNION ALL
SELECT 1 UNION ALL SELECT 1 UNION ALL SELECT 1 UNION ALL SELECT 1 UNION ALL SELECT 1 ),
E01 (N) AS (SELECT a.N FROM E00 a CROSS JOIN E00 b),
E02 (N) AS (SELECT a.N FROM E01 a CROSS JOIN E01 b ),
E03 (N) AS (SELECT a.N FROM E02 a CROSS JOIN E02 b
LIMIT 11000 -- end record 11,000 good for 30 yrs dates
), -- max is 100,000,000, starts slowing e.g. 1 million 1.5 secs, 2 mil 2.5 secs, 3 mill 4 secs
Tally (N) as (SELECT row_number() OVER (ORDER BY a.N) FROM E03 a)
SELECT N
FROM Tally
أثناء انتقالي من SQL Server إلى عالم Postgres، ربما فاتني طريقة أفضل لعمل جداول الإحصاء على هذا النظام الأساسي ...عدد صحيح()؟تسلسل()؟
بعد ذلك بكثير، أود المساهمة بـ CTE "تقليدي" مختلف قليلاً (لا يمس الجداول الأساسية للحصول على حجم الصفوف):
--===== Hans CROSS JOINED CTE method
WITH Numbers_CTE (Digit)
AS
(SELECT 0 UNION ALL SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4 UNION ALL SELECT 5 UNION ALL SELECT 6 UNION ALL SELECT 7 UNION ALL SELECT 8 UNION ALL SELECT 9)
SELECT HundredThousand.Digit * 100000 + TenThousand.Digit * 10000 + Thousand.Digit * 1000 + Hundred.Digit * 100 + Ten.Digit * 10 + One.Digit AS Number
INTO #Tally5
FROM Numbers_CTE AS One CROSS JOIN Numbers_CTE AS Ten CROSS JOIN Numbers_CTE AS Hundred CROSS JOIN Numbers_CTE AS Thousand CROSS JOIN Numbers_CTE AS TenThousand CROSS JOIN Numbers_CTE AS HundredThousand
يؤدي هذا CTE عددًا أكبر من عمليات القراءة مقارنةً بـ Itzik's CTE ولكن أقل من CTE التقليدي.ومع ذلك، فإنه ينفذ بشكل متسق عمليات كتابة أقل ثم الاستعلامات الأخرى.كما تعلم، تكون تكلفة الكتابة دائمًا أعلى بكثير من تكلفة القراءة.
تعتمد المدة بشكل كبير على عدد النوى (MAXDOP)، ولكن على 8core الخاص بي، يعمل بشكل أسرع (أقل مدة بالمللي ثانية) ثم الاستعلامات الأخرى.
انا استخدم:
Microsoft SQL Server 2012 - 11.0.5058.0 (X64)
May 14 2014 18:34:29
Copyright (c) Microsoft Corporation
Enterprise Edition (64-bit) on Windows NT 6.3 <X64> (Build 9600: )
على Windows Server 2012 R2، 32 جيجابايت، Xeon X3450 @2.67 جيجا هرتز، 4 مراكز HT ممكنة.
