كيف لتتبع أداء الاختبار

Question

أنا حاليا أقوم أداء اختبار الحمل معقدة العديد من مستويات نظام التحقيق في تأثير التغيرات المختلفة, ولكن أواجه مشاكل في الحفاظ على المسار من كل شيء:

• هناك نسخ عديدة من مختلف الجمعيات
  • Orignally صدر المجالس
  • رسميا الإصلاحات العاجلة
  • الجمعيات التي بنيت تحتوي على مزيد من إصلاحات إضافية
  • الجمعيات التي كنت بناء تحتوي إضافية التسجيل التشخيصي أو تتبع
• هناك العديد من قواعد البيانات بقع, بعض من فوق الجمعيات تعتمد على قاعدة بيانات معينة بقع يجري تطبيقها
• كثير من تسجيل مختلف مستويات الوجود, في مستويات مختلفة (تطبيق تسجيل تطبيق إحصاءات الأداء SQL server التنميط)
• هناك العديد من السيناريوهات المختلفة, في بعض الأحيان من المفيد اختبار فقط 1 السيناريو مرة أخرى أنا بحاجة إلى اختبار تركيبات من السيناريوهات المختلفة.
• قد يكون الحمل الانقسام عبر أجهزة متعددة أو فقط جهاز واحد
• البيانات الموجودة في قاعدة البيانات يمكن أن تتغير, على سبيل المثال بعض الاختبارات التي يمكن القيام به مع البيانات التي تم إنشاؤها ، ثم في وقت لاحق مع البيانات المأخوذة من العيش النظام.
• هناك كمية هائلة من إمكانات الأداء البيانات التي سيتم جمعها بعد كل اختبار, على سبيل المثال:
  • العديد من أنواع مختلفة من التطبيق محددة تسجيل
  • منشئ ملفات التعريف SQL آثار
  • سجلات الأحداث
  • DMVs
  • عدادات الأداء
• قاعدة البيانات(ع) عدة غيغابايت في الحجم أين كنت تستخدم النسخ الاحتياطي إلى العودة إلى الحالة السابقة لا تميل إلى تطبيق التغييرات إلى أي قاعدة بيانات موجودة بعد آخر اختبار ، مما تسبب لي بسرعة تفقد المسار من الأشياء.

لقد جمع أكبر قدر من المعلومات عن كل اختبار أفعل (سيناريو اختبار, الذي بقع تطبق ما هي البيانات في قاعدة البيانات) ، ولكن ما زلت أجد نفسي الحاجة إلى تكرار الاختبارات بسبب نتائج غير متناسقة.على سبيل المثال لقد فعلت ذلك لاختبار التي أعتقد أن تكون نسخة مطابقة من اختبار ركضت قبل بضعة أشهر, ولكن مع تحديث البيانات في قاعدة البيانات.أنا أعرف حقيقة أن البيانات الجديدة يجب أن يسبب الأداء degregation ، ومع ذلك فإن النتائج تظهر عكس ذلك!

في نفس الوقت أجد نفسي sepdning غير متناسبة كميات من وقت تسجيل هذه كل هذه التفاصيل.

شيء واحد أنا اعتبر تستخدم البرمجة النصية لأتمتة عملية جمع بيانات الأداء الخ... لكن لم أكن متأكد أن هذه فكرة جيدة - ليس فقط هو الوقت الذي يقضيه تطوير البرامج النصية بدلا من اختبار ، ولكن الأخطاء في البرامج النصية يمكن أن يسبب لي أن تفقد المسار من الأشياء حتى أسرع.

انا بعد بعض النصائح / تلميحات حول كيفية تحسين إدارة بيئة اختبار ، ولا سيما كيفية تحقيق التوازن بين جمع كل شيء و في الواقع الحصول على بعض التجارب في خطر من فقدان شيء مهم ؟

Answer 1

تعد كتابة مجموعة معلمات الاختبار + البيئة فكرة جيدة جدًا للتحقق منها.إذا كنت تقوم بالاختبار على مدار عدة أيام، وتستغرق البرمجة النصية يومًا واحدًا، فهذا يعني قضاء الوقت بشكل جيد.إذا رأيت بعد يوم أن الأمر لن ينتهي قريبًا، فأعد تقييمه وربما تتوقف عن متابعة هذا الاتجاه.

لكنك مدين لنفسك بتجربتها.

Answer 2

أميل إلى الاتفاق مع @orip، حيث أن كتابة جزء على الأقل من عبء العمل الخاص بك من المرجح أن توفر لك الوقت.قد تفكر في تخصيص بعض الوقت لتسأل ما هي المهام التي تستغرق وقتًا طويلاً من حيث عملك وما مدى قابليتها للتشغيل الآلي؟تعتبر البرامج النصية جيدة بشكل خاص في جمع البيانات وتلخيصها - وهي أفضل بكثير من الأشخاص عادةً.إذا كانت بيانات الأداء تتطلب الكثير من التفسير من جانبك، فقد تواجه مشكلات.

تتمثل ميزة البرمجة النصية لبعض هذه المهام في أنه يمكنك بعد ذلك التحقق منها جنبًا إلى جنب مع المصدر/التصحيحات/الفروع وقد تجد أنك تستفيد من الهيكل التنظيمي لتعقيد أنظمتك بدلاً من النضال لمطاردتها كما تفعل الآن.

Answer 3

إذا كان يمكنك الحصول بعيدا مع اختبار فقط ضد تعيين عدد قليل التكوينات التي سوف تبقى المشرف بسيطة.فإنه يمكن أيضا جعله أسهل إلى وضعت واحدة على كل من العديد من الأجهزة الظاهرية التي يمكن أن تنقل بسرعة إلى إعطاء تنظيف خطوط الأساس.

إذا كنت حقا بحاجة إلى تعقيد تصف أنصح بناء قاعدة بيانات بسيطة تتيح لك الاستعلام عن نتائج المتغيرات لديك.وجود عمود لكل من العوامل الهامة التي سوف تتيح لك الاستعلام في أسئلة مثل "ماذا اختبار التكوين أدنى الفرق في الكمون" و "اختبار قاعدة البيانات تتيح رفع معظم الحشرات؟".يمكنني استخدام sqlite3 (ربما من خلال بايثون المجمع أو فايرفوكس المكونات في) لهذا النوع من خفيفة الوزن جمع لأنه يبقى الصيانة النفقات العامة منخفضة نسبيا يسمح لك لتجنب إحداث خلل في النظام تحت الاختبار بعيدا جدا حتى إذا كنت تحتاج إلى تشغيل على نفس مربع.

برمجة الاختبارات جعلها أسرع في تنفيذ تصريح النتائج التي تم جمعها بالفعل أمر الطريق ، لكن يبدو أن النظام الخاص بك قد تكون أكثر تعقيدا من أن يجعل هذا من السهل القيام به.