إدارة سجلات المعاملات الضخمة؟

Question

لدي تطبيق مجدول واحصل على بعض البيانات من جدول قاعدة بيانات أخرى ومقبوفا في جدول قاعدة بيانات التطبيقات الرئيسية الخاصة بي، يزيد عدد السجلات في هذا الجدول يوميا وأفترض أنه سينمو يوميا لأن بيانات الحدث المعاملات التي تحدث. يتم استخدام هذه البيانات للمعالجة من خلال التطبيق الرئيسي الذي يأخذ كل سجل ويفعل التحليل المطلوب ويمثل كل سجل باسم معالجته.

ما نوع الحل الذي يمكنني تقديمه حتى أتمكن من الحفاظ على حجم قاعدة البيانات لأسفل في المستقبل؟

كيف ستذهب حول هذا الوضع؟

من ملاحظتي لبعض تطبيقات المؤسسات، يوفر المرء خيارا يمكن للمستخدم أرشفة السجلات "أقدم من 60 يوما" إلخ ... إلى ملف نصي. هل يمكنني تقديم خيار لأرشفة السجلات المعالجة إلى ملف نصي و حذف السجلات من قاعدة البيانات، يمكن استيراد الملف النصي لاحقا إذا لزم الأمر؟ هل هذا حل؟

Answer 1

إذا كنت بحاجة إلى الوصول أحيانا إلى أن البيانات الأكبر سنا، فقم ببناء عملية لأرشفةه على النص، ومن المحتمل أن يكون التحميل من النص هو حلا رائعا. محركات الأقراص الصلبة رخيصة.

يمكنك إكمال البيانات القديمة. على سبيل المثال، إذا كانت بيانات المعاملات في الحبوب Millisecond الآن، ولكن عند الإبلاغ عن البيانات القديمة التي تحصل عليها بحلول اليوم، ففكر في تجميع البيانات إلى "يوميا" كعملية أرشفة. قد تكون قادرا على طي مئات الآلاف من الصفوف إلى عدد قليل من كل يوم.

ضع في اعتبارك أيضا نظام تقسيم جيد حيث يمكنك الاحتفاظ بأحدث المعاملات على مجموعة واحدة من الأقراص والبيانات المؤرشفة للأقراص الأخرى، نأمل في عملية يمكنك بسهولة إضافة أقراص جديدة بسهولة وإنشاء جداول لتلك الأقراص.

Answer 2

أي نوع من احتياجات تقارير البيانات السابقة التي لدى شركتك؟ إن إسقاط البيانات المؤرشفة في ملف نصي جيد وجيد، على افتراض أنك لا تحتاج إلى أن تكون قادرا على الإبلاغ عن تلك البيانات في المستقبل. ومع ذلك، فإن وجوده في ملف نصي يعني أنه يجب أن يكون لديك عملية يدوية لاستيرادها عند الطلب في قاعدة بيانات عند الحاجة إليها.

سيكون الخيار الأفضل هو نقل بيانات الأرشيف إلى قاعدة بيانات مستودع البيانات غير المستخدمة لمعالجة المعاملات (OLTP)، وبدلا من ذلك يتم استخدامها كأساس قاعدة بيانات المعالجة التحليلية (OLAP). عندما يحين الوقت للإبلاغ عن هذه البيانات المؤرشفة، جاهز للذهاب. إذا كنت حريصا حول كيفية قيامك بالبيانات في قاعدة بيانات الأرشيف هذه، فينبغي أن يكون من السهل جدا إجمال جميع البيانات في مكعب OLAP، مما يجعل الإبلاغ عن تلك البيانات بشكل أسرع وأكثر مرونة.

ولكن مرة أخرى ... يعتمد على ما إذا كنت تقوم بالإبلاغ عن البيانات أم لا، ومدى العودة في الوقت الذي قد يذهب فيه الإبلاغ.

Answer 3

يعتمد ذلك على مقدار التحليل الذي سيتم إحرازه في البيانات السابقة، ولكن هناك طريقة للحفاظ على كل شيء في قاعدة البيانات دون أداء أصبحت مشكلة.

الحل الذي يتبادر إلى الذهن هو تقسيم الجداول المعنية. لدى شركتي جدول قاعدة بيانات له بيانات مقسمة بحلول الشهر، يحتوي كل منها على حوالي 20 مليون صف. يجعل التقسيم باستخدام هذه البيانات أكثر عملية بكثير مما لو تم تخزينه في جدول واحد. الآن القيد الحقيقي الوحيد هو مساحة القرص، وهي مشكلة غير موضحة في هذه الأيام.

ومع ذلك، أعلم أن بعض قواعد البيانات لا تدعم التقسيم. إذا كانت هذه هي الحالة، ففترض أن تخزين البيانات في ملف محدد سيكون حلا مناسبا.

Answer 4

IMHO، يعتمد ذلك على مدى احتمال أن يحتاج المستخدم إلى تحليل البيانات السابقة. إذا كان من المحتمل أن يخلق فهارس جيدة والحفاظ على جميع البيانات في قاعدة البيانات الرئيسية الخاصة بك.

إذا لم يكن الأمر كذلك، فقم بإسقاطها إلى TXT. يجب أن يكون الوقت الذي يحدث فيه شكلي بالطبع.