Est-GLM un modèle d'apprentissage statistique ou à la machine?

Question

Je pense que le modèle linéaire généralisé (GLM) serait considéré comme un modèle statistique, mais un ami m'a dit que certains papiers classifient comme une technique d'apprentissage de la machine. Lequel est vrai (ou plus précis)? Toute explication serait appréciée.

Answer 1

Un GLM est absolument un modèle statistique, mais des modèles statistiques et l'apprentissage des techniques de la machine ne sont pas mutuellement exclusifs. En général, les statistiques sont plus préoccupés par les paramètres inférer, alors que dans l'apprentissage de la machine, la prévision est le but ultime.

Answer 2

prévision En ce qui concerne les statistiques, et sciences de l'apprentissage machine commencé à résoudre le même problème pour la plupart des perspectives différentes.

statistiques Fondamentalement suppose que les données ont été produites par un modèle stochastique donné. Ainsi, d'un point de vue statistique, un modèle est supposé et compte tenu de diverses hypothèses les erreurs sont traitées et les paramètres du modèle et les autres questions sont inférées.

L'apprentissage machine vient d'un point de vue informatique. Les modèles sont algorithmiques et généralement très peu d'hypothèses sont nécessaires en ce qui concerne les données. Nous travaillons avec l'espace d'hypothèses et de biais d'apprentissage. La meilleure exposition de la machine que je trouve l'apprentissage est contenue dans le livre de Tom Mitchell appelé apprentissage .

Pour une idée plus exhaustive et complète en ce qui concerne les deux cultures, vous pouvez lire le journal Leo Breiman appelé noreferrer modélisation statistique: Les deux cultures

Mais ce qu'il faut ajouter est que même si les deux sciences ouvertes avec des perspectives différentes, deux d'entre eux partagent maintenant maintenant un montant équitable des connaissances et techniques communes. Pourquoi, parce que les problèmes étaient les mêmes, mais les outils étaient différents. Alors maintenant, l'apprentissage de la machine est principalement traitée d'un point de vue statistique (vérifiez la Hastie, Tibshirani, livre Friedman Les éléments de l'apprentissage statistique d'un point de vue apprentissage automatique avec un traitment statistique, et le livre de Kevin P. Murphy peut-être machine Learning: une perspective probabiliste , pour ne citer que quelques-uns des meilleurs livres disponibles aujourd'hui).

Même l'histoire du développement de ce domaine montrent les avantages de cette fusion des perspectives. Je vais décrire deux événements.

La première est la création d'arbres CART, qui a été créé par Breiman avec un arrière-plan statistique solide. A peu près en même temps, Quinlan a développé ID3, C45, See5, et ainsi de suite, suite arbre de décision avec un arrière-plan plus informatique. Maintenant, les deux familles ce d'arbres et les méthodes d'ensemble comme ensachage et les forêts deviennent assez semblables.

La seconde histoire est celle d'augmenter. Dans un premier temps, ils ont été développés par Freund et Shapire quand ils ont découvert AdaBoost. Les choix pour la conception AdaBoost ont fait la plupart du temps à partir d'un point de vue informatique. Même les auteurs ne comprenaient bien pourquoi cela fonctionne. A seulement 5 ans plus tard Breiman (nouveau!) Décrit le modèle AdaBoost du point de vue statistique et a expliquer pourquoi cela fonctionne. Depuis lors, plusieurs scientifiques éminents, avec les deux types de milieux, ont développé davantage ces idées menant à un Pléiades d'algorithmes stimulant, comme stimulant logistique, gradient stimulant, doux ans stimulant ainsi de suite. Il est difficile maintenant de penser à stimuler sans arrière-plan statistique solide.

Les modèles linéaires généralisés est un développement de la statistique. Cependant, de nouveaux traitements bayésienne met cet algorithme aussi dans la cour de l'apprentissage de la machine. Je crois donc que les deux demandes pourraient avoir raison, puisque l'interprétation et le traitement de la façon dont cela fonctionne pourrait être différent.

Answer 3

En plus de la réponse de Ben, la distinction subtile entre les modèles statistiques et des modèles d'apprentissage de la machine est que, dans les modèles statistiques, vous décidez explicitement la structure de l'équation de sortie avant la construction du modèle. Le modèle est conçu pour calculer les paramètres / coefficients.

Prenez le modèle linéaire ou GLM par exemple,

y = a1x1 + a2x2 + a3x3

Vos variables indépendantes sont x1, x2, x3 et les coefficients à déterminer sont a1, a2, a3. Vous définissez la structure de votre équation de cette façon avant de construire le modèle et compute a1, a2, a3. Si vous pensez que y est en quelque sorte corrélée à x2 d'une manière non linéaire, vous pouvez essayer quelque chose comme ça.

y = a1x1 + a2(x2)^2 + a3x3.

Ainsi, vous mettez une restriction en termes de la structure de sortie. Intrinsèquement modèles statistiques sont des modèles linéaires à moins que vous appliquez explicitement des transformations comme sigmoïde ou noyau pour les rendre non linéaire (GLM et SVM).

Dans le cas des modèles d'apprentissage de la machine, vous spécifiez rarement la structure de sortie et des algorithmes tels que des arbres de décision sont par nature non linéaire et le travail efficacement.

Contrairement à ce que Ben a fait remarquer, des modèles d'apprentissage de la machine ne sont pas seulement la prévision, ils classification, régression etc qui peuvent être utilisés pour faire des prédictions qui sont également effectués par divers modèles statistiques.

Answer 4

GLM est tout à fait un modèle statistique, alors que de plus en plus des méthodes statistiques ont été appliquées dans la production industrielle que l'apprentissage de la machine tours . La méta-analyse que je lis le plus pendant ces jours-ci est un bon exemple dans le domaine statistique.

Une application industrielle parfaite avec GLM peut expliquer pourquoi votre ami vous dit que GLM était considéré comme un apprentissage machine technique . Vous pouvez consulter le document source http://www.kdd.org/ kdd2016 / documents / fichiers / adf0562-zhangA.pdf à ce sujet.

I mis en œuvre une simplification qui a été considéré comme le principal cadre de mon système de recommandation dans le scénario de production il y a quelques semaines. Très apprécié si vous me donnez quelques conseils, et vous pouvez vérifier le code source: https://github.com/PayneJoe/algo-sensetime/blob/master/src/main/scala/GLMM.scala

espère que cela vous aide, bonne journée!