Medición del rendimiento del algoritmo de clasificación.

Question

Tengo un problema de clasificación en mi mano, que me gustaría abordar con un algoritmo de aprendizaje automático (Bayes o Markovian probablemente, la pregunta es independiente del clasificador que se usará). Dada una serie de instancias de capacitación, estoy buscando una manera de medir el rendimiento de un clasificador implementado, teniendo en cuenta el problema de sobrecapacidad de datos.

Es decir: dadas las muestras de entrenamiento N [1..100], si ejecuto el algoritmo de entrenamiento en cada una de las muestras, y uso estas mismas muestras para medir la condición física, es posible que se pegue a un problema de sobrecarga de datos: el El clasificador conocerá las respuestas exactas para las instancias de entrenamiento, sin tener mucho poder predictivo, haciendo que los resultados de aptitud física sean inútiles.

Una solución obvia sería separar las muestras etiquetadas a mano en el entrenamiento y las muestras de prueba; y me gustaría aprender sobre los métodos que seleccionan las muestras estadísticamente significativas para la capacitación.

¡Documentos técnicos, punteros de libros y documentos PDF muy apreciados!

Answer 1

Puede usar 10 veces la validación cruzada para esto. Creo que es un enfoque bastante estándar para la evaluación del rendimiento del algoritmo de clasificación.

La idea básica es dividir las muestras de aprendizaje en 10 subconjuntos. Luego use un subconjunto para datos de prueba y otros para datos de trenes. Repita esto para cada subconjunto y calcule el rendimiento promedio al final.

Answer 2

Como el Sr. Brownstone dijo que 10 veces la validación cruzada es probablemente la mejor manera de hacerlo. Hace poco tuve que evaluar el rendimiento de varios clasificadores diferentes para esto. Utilicé Weka . Que tiene una API y una carga de herramientas que le permiten probar fácilmente el rendimiento de muchos clasificadores diferentes.