قياس أداء خوارزمية تصنيف

Question

لقد حصلت على تصنيف المشكلة في يدي الذي أود أن أخاطب مع آلة خوارزمية التعلم ( Bayes ، أو الماركوفية ربما مسألة مستقلة على المصنف إلى استخدامها).نظرا لعدد من التدريب الحالات ، أنا أبحث عن وسيلة لقياس أداء تنفيذ classificator ، مع أخذ بيانات التناسب المشكلة في الاعتبار.

وهذا هو:نظرا N[1..100] عينات التدريب, إذا كنت تشغيل خوارزمية التدريب على كل واحد من العينات ، استخدام نفس هذه العينات لقياس اللياقة البدنية, قد تمسك في البيانات التناسب المشكلة -المصنف سوف تعلم بالضبط إجابات لتدريب الحالات دون وجود الكثير من القوة التنبؤية ، مما يجعل اللياقة البدنية نتائج مجدية.

واضح لن يكون الحل إفصل اليد الموسومة العينات في تدريب واختبار العينات ؛ و أحب أن تعلم عن طرق اختيار ذات دلالة إحصائية عينات تدريبية.

أوراق بيضاء ، كتاب المؤشرات و ملفات Pdf محل تقدير كبير!

Answer 1

هل يمكن استخدام 10 أضعاف عبر التحقق من صحة من أجل هذا.أعتقد انها جميلة القياسية نهج خوارزمية تصنيف تقييم الأداء.

الفكرة الأساسية هو تقسيم التعلم الخاص بك عينات إلى 10 مجموعات فرعية.ثم استخدام مجموعة فرعية واحدة من أجل اختبار البيانات وغيرها القطار البيانات.كرر ذلك لكل فرعية وحساب متوسط الأداء في نهاية المطاف.

Answer 2

كما قال السيدالبيت قال 10 أضعاف عبر التحقق من صحة هو على الارجح أفضل وسيلة للذهاب.وقد أتيحت لي مؤخرا لتقييم أداء عدد من مختلف المصنفات على Weka.الذي لديه API و الكثير من الأدوات التي تسمح لك بسهولة اختبار أداء الكثير من مختلف المصنفات.