GLM es un modelo de aprendizaje estadístico o la máquina?

Question

pensé que el modelo lineal generalizado (GLM) sería considerado un modelo estadístico, pero un amigo me dijo que algunos papeles lo clasifican como una técnica de aprendizaje automático. ¿Cuál es verdadero (o más preciso)? Cualquier explicación sería apreciada.

Answer 1

A GLM es absolutamente un modelo estadístico, pero los modelos estadísticos y técnicas de aprendizaje automático no son mutuamente excluyentes. En general, las estadísticas se refiere más a los parámetros de la inferencia, mientras que en el aprendizaje de máquina, la predicción es el objetivo final.

Answer 2

En cuanto a la predicción, estadística y ciencias de aprendizaje automático iniciadas para resolver su mayoría el mismo problema desde diferentes perspectivas.

Básicamente estadísticas asume que los datos fueron producidos por un modelo estocástico dado. Por lo tanto, desde una perspectiva estadística, un modelo se asume y se le dio varios supuestos los errores son tratados y los parámetros del modelo y otras preguntas se infiere.

El aprendizaje automático viene desde una perspectiva de la informática. Los modelos son algorítmica y por lo general se requieren muy pocas suposiciones respecto a los datos. Trabajamos con el espacio de hipótesis y el sesgo de aprendizaje. La mejor exposición de aprendizaje automático que encontré está contenida en el libro de Tom Mitchell llamado Machine Learning .

Para obtener una idea más exhaustiva y completa con respecto a las dos culturas se puede leer el periódico Leo Breiman llamado modelado estadístico: Las dos culturas

Sin embargo lo que hay que añadir es que incluso si las dos ciencias iniciadas con diferentes perspectivas, tanto de ellos ahora comparten ahora una buena cantidad de conocimientos y técnicas comunes. ¿Por qué, porque los problemas son los mismos, pero las herramientas eran diferentes. Así que ahora el aprendizaje automático se trata sobre todo desde una perspectiva estadística (comprobar el Hastie, Tibshirani, libro de Friedman The Elements estadística del aprendizaje de una máquina de punto de vista con el aprendizaje con un tratamiento estadístico, y el libro quizá Kevin P. Murphy 's Machine Learning: una perspectiva probabilística , por nombrar sólo algunos de los mejores libros disponibles en la actualidad).

A pesar de la historia del desarrollo de este campo demuestran los beneficios de esta combinación de perspectivas. Voy a describir dos eventos.

La primera es la creación de árboles de la compra, que fue creado por Breiman con un fondo estadística sólida. Aproximadamente al mismo tiempo, Quinlan desarrolló ID3, C45, See5, y así sucesivamente, suite de árbol de decisión con un fondo más la informática. Ahora, tanto estas familias de árboles y los métodos de conjunto como el embolsado y los bosques se convierten en bastante similares.

La segunda historia es sobre el robustecimiento. Inicialmente fueron desarrollados por Freund y Shapire cuando descubrieron AdaBoost. Las opciones para el diseño AdaBoost se hacen sobre todo desde una perspectiva computacional. Incluso los autores no entienden bien por qué funciona. A sólo 5 años después Breiman (de nuevo!) Describe el modelo AdaBoost desde una perspectiva estadística y dio una explicación de por qué funciona. Desde entonces, varios científicos eminentes, con ambos tipos de fondos, desarrollaron aún más las ideas que conducen a una pléyades de algoritmos de impulsar, como logística impulsar, gradiente de impulsar, ans impulsar suaves así sucesivamente. Es difícil pensar ahora a impulsar sin una base estadística sólida.

Modelos lineales generalizados es un desarrollo de la estadística. Sin embargo nuevos tratamientos bayesianos pone este algoritmo también en el parque de aprendizaje automático. Por eso creo que ambas reclamaciones podrían estar en lo cierto, ya que la interpretación y tratamiento de cómo funciona podría ser diferente.

Answer 3

Además de la respuesta de Ben, la sutil distinción entre los modelos estadísticos y modelos de aprendizaje automático es que, en los modelos estadísticos, que deciden de forma explícita la estructura ecuación de salida antes de la construcción del modelo. El modelo está construido para calcular los parámetros / coeficientes.

Tome modelo lineal o GLM por ejemplo,

y = a1x1 + a2x2 + a3x3

Sus variables independientes son x1, x2, x3 y los coeficientes a determinar son: A1, A2, A3. Se define la estructura de su ecuación de esta forma antes de la construcción del modelo y calcular a1, a2, a3. Si usted cree que y es de alguna manera correlacionada a x2 de una manera no lineal, podría intentar algo como esto.

y = a1x1 + a2(x2)^2 + a3x3.

De este modo, se pone una restricción en cuanto a la estructura de salida. Inherentemente modelos estadísticos son modelos lineales a menos que solicite explícitamente transformaciones como sigmoide o el kernel para hacerlos no lineal (GLM y SVM).

En el caso de modelos de aprendizaje automático, que rara vez se especifica la estructura de la producción y algoritmos como árboles de decisión son intrínsecamente no lineal y el trabajo de manera eficiente.

Al contrario de lo que Ben señaló, modelos de aprendizaje automático no son sólo de predicción, que hacen de clasificación, regresión, etc, que pueden ser utilizados para hacer predicciones que también se hacen por diversos modelos estadísticos.

Answer 4

GLM es absolutamente un modelo estadístico, mientras que cada vez más los métodos estadísticos han de ser aplicadas en la producción industrial como de aprendizaje automático trucos . Meta-análisis que leí el más durante estos días es un ejemplo bien en el campo estadística.

Una aplicación industrial perfecto con GLM puede explicar por qué su amigo le dijo que GLM fue considerado como un aprendizaje automático técnica . Puede consultar el documento fuente http://www.kdd.org/ kdd2016 / documentos / archivos / adf0562-zhangA.pdf al respecto.

Me implementó una simplificado que fue tratado como el marco principal para mi sistema de recomendación en el escenario de producción hace unas semanas. Muy apreciado si me dan algunos consejos, y se puede comprobar el código fuente: https://github.com/PayneJoe/algo-sensetime/blob/master/src/main/scala/GLMM.scala

espera que esto le ayuda, buen día!