ما هو أفضل استراتيجية retainment من مجموعات البيانات الكبيرة?

Question

أنا الرائدة في المشروع حيث سنكون تسجيل مقاييس البيانات.أود الاحتفاظ البيانات لسنوات.ولكن أود أيضا أن نضع الجدول الأساسي من أن تصبح منتفخة مع البيانات أنه في حين من الضروري على المدى الطويل تتجه أليس المطلوب على المدى القصير التقارير.

ما هي أفضل استراتيجية للتعامل مع هذا الوضع ؟ ببساطة أرشيف البيانات القديمة إلى آخر الجدول ؟ أو "لفة منه" عبر بعض توحيد البيانات نفسها (ثم تخزينه إلى جدول مختلف)?أو شيء آخر تماما ؟

معلومات إضافية:ونحن تستخدم SQL Server 2005.

Answer 1

نحن نستخدم كل الأساليب في العمل, ولكن مختلفة قليلا ، ونحن الحفاظ على جميع بيانات مبيعات في الجدول الأساسي لمدة 30 يوما ، ثم في الليل (جزء من كل ليلة وظائف) أيام المبيعات طوى في ملخصات (ن الكمية x المنتجات التي تباع اليوم إلخ) في جدول منفصل للإبلاغ عن الأسباب و المبيعات خلال 30 يوما هي المحفوظة في قاعدة بيانات مختلفة ، ثم مرة واحدة في السنة (نذهب على السنوات الضريبية) جديد على الأرشيف قاعدة بيانات بدأت.الكمال ليس بالضبط ولكن..

بهذه الطريقة يمكننا الحصول على ملخصات البيانات بسرعة ، والحفاظ على جميع المبيعات الحالية البيانات في متناول اليد و غير محدود مساحة مفصلة أرشيف البيانات.لقد حاولنا الحفاظ على كل شيء في قاعدة بيانات واحدة (في جداول مختلفة) ولكن حجم ملف قاعدة البيانات (ينترباسي) سوف تنمو كبيرة بحيث أن سحب النظام.

المشكلة الحقيقية الوحيدة لدينا هو الوصول إلى البيانات التفصيلية التي تمتد عبر عدة بيانات ، كما توصيل وفصل بطيئة ، والتحليل الذي ينبغي القيام به في التعليمات البرمجية بدلا من sql

Answer 2

إذا كنت تستخدم SQL server 2005 ، وهذا قد يكون مرشحا جيدا باستخدام تقسيم الجداول.

Answer 3

اعتمادا على القيود مثل الميزانية ، إلخ ، هذا يبدو وكأنه مرشح مثالي على مستودع بيانات التطبيق.هذا عادة إدخال ملقم جديد استخدام مستودع البيانات.SQL Server 2005 يدعم الكثير من هذا النشاط في الخروج من مربع ، كذلك قد تكون قادرة على الاستفادة الإضافية خدمات SQL Server (على سبيل المثالخدمات تحليل خدمات التقارير) إلى تقديم قيمة إضافية للمستخدمين.(انظر http://www.microsoft.com/technet/prodtechnol/sql/2005/dwsqlsy.mspx)

Answer 4

@جيسون - أنا لا أرى كيف يمكن حفظ البيانات في القديم عادي الملفات النصية سوف تسمح لك أن تفعل المدى الطويل تتجه تحليل بسهولة على البيانات.

@جيسون - أعتقد أن وجهة نظري هو أنه إذا كان أي نوع من المخصص تحليل (أيتتجه) يتعين القيام به على البيانات من قبل رجال الأعمال ، تشمير أو أرشفة البيانات إلى ملفات نصية حقا لا حل أي مشاكل.بالطبع كتابة التعليمات البرمجية تستهلك ملف نصي من السهل في كثير من اللغات ، ولكن هذه المشكلة قد تم حلها.أيضا, أنا أزعم أن اليوم RDBMS هي كل متينة للغاية عند إعداد والاحتفاظ بشكل صحيح.إذا لم يكونوا لماذا قمت بتشغيل الأعمال تجارية على رأس واحد (ناهيك أرشيف البيانات إلى ذلك) ؟ أنا فقط لا أرى فائدة من وحفظها إلى ملف نصي عادي لأن المطالبة متانة الملفات النصية هو أفضل من ذلك من قواعد البيانات.

Answer 5

أي من هذه الخيارات هي ممتازة ، ولكن هذا يعتمد حقا على المشكلة المجال.لأشياء مثل الأرصدة النقدية أو البيانات الإحصائية ، أعتقد أن تشمير سجلات وتوحيدها هو أفضل وسيلة يمكنك ثم نقل طوى السجلات في موازاة الأرشيف الجدول القفل لهم في مثل هذه الطريقة التي يمكنك "انبسط" إذا لزم الأمر.هذا وتبقى البيانات الأولية طاولة نظيفة و سريعة, ولكن يسمح لك الاحتفاظ بيانات إضافية من أجل المراجعة أو أيا كان.فإن السؤال الرئيسي هو كيف يمكنك تنفيذ "الإظهار" العملية.إما تلقائيا أو عن طريق المشغل أو من جانب الخادم عملية أو تدخل من المستخدم في مستوى التطبيق ؟