Clasificación utilizando xgboost - predicciones

Question

Estaba tratando de construir un clasificador 0-1 usando el paquete XGBOOST R. Mi pregunta es ¿cómo se hacen las predicciones? Por ejemplo, en bosques aleatorios, los árboles "votan" contra cada opción y la predicción final se basa en la mayoría. En cuanto a XGBOOST, el caso de regresión es simple ya que la predicción en el modelo completo es igual a la suma de las predcitions para los alumnos débiles (árboles impulsados), pero ¿qué pasa con la clasificación?

¿El clasificador XGBOost funciona igual que en el bosque aleatorio (no lo creo, ya que puede devolver probabilidades predictivas, no membresía de clase).

Answer 1

El algoritmo de Gradiente Boost crea un conjunto de árboles de decisión.

El proceso de predicción utilizado aquí Use estos pasos:

• Para cada árbol, cree una "variable predicha" temporal, aplicando el árbol al nuevo conjunto de datos.
• Use una fórmula para agregar todos estos árboles. Dependiendo del modelo:
  • Bernoulli: 1/(1 + exp (-(intercepción + suma (pred) temporal))))
  • Poisson, Gamma: Exp (Intercept + Sum (Pred temporal))
  • adaboost: 1 /(1 + exp (-2*(interceptación + suma (pred) temporal))))

La "variable predicha" temporal es una probabilidad, que no tiene sentido por su cuenta.

Cuanto más árbol tenga, más suave es su predicción (como para cada árbol, solo se extiende un conjunto finito de valor a través de sus observaciones)

El proceso R probablemente esté optimizado, pero es suficiente para comprender el concepto.

En la implementación H2O del impulso de gradiente, la salida es un indicador 0/1. Pienso que el Puntaje F1 se usa de forma predeterminada para convertir la probabilidad en el indicador. Haré una búsqueda/prueba para confirmar eso.

En esa misma implementación, uno de los resultados predeterminados para un resultado binario es una matriz de confusión, que es una excelente manera de evaluar su modelo (y abrir un montón de interrogatorios completamente nuevos).

La intersección es "el valor predicho inicial al que los árboles hacen ajustes". Básicamente, solo un ajuste inicial.

Además: Documentación H2O.GBM