Ist GLM ein statistisches oder maschinelles Lernmodell?

Question

Ich dachte, dass das verallgemeinerte lineare Modell (GLM) als statistisches Modell angesehen wird, aber ein Freund sagte mir, dass einige Papiere es als maschinelles Lerntechnik klassifizieren würden. Welches ist wahr (oder genauer)? Jede Erklärung wäre geschätzt.

Answer 1

Ein GLM ist absolut ein statistisches Modell, aber statistische Modelle und maschinelle Lerntechniken schließen sich nicht gegenseitig aus. Im Allgemeinen befasst sich Statistiken mehr mit dem Abschluss von Parametern, während die Vorhersage im maschinellen Lernen das ultimative Ziel ist.

Answer 2

In Bezug auf die Vorhersage begannen Statistiken und maschinelles Lernen, hauptsächlich das gleiche Problem aus verschiedenen Perspektiven zu lösen.

Grundsätzlich geht die Statistiken davon aus, dass die Daten durch ein bestimmtes stochastisches Modell erzeugt wurden. Aus statistischer Sicht wird ein Modell angenommen und bei verschiedenen Annahmen werden die Fehler behandelt und die Modellparameter und andere Fragen abgeleitet.

Maschinelles Lernen kommt aus Sicht der Informatik. Die Modelle sind algorithmisch und normalerweise sind nur sehr wenige Annahmen in Bezug auf die Daten erforderlich. Wir arbeiten mit Hypothesenraum und Lernverzerrung. Die beste Darstellung des maschinellen Lernens, das ich gefunden habe, ist in Tom Mitchells Buch mit dem Namen namens Maschinelles Lernen.

Für eine umfassendere und vollständigere Idee in Bezug Statistische Modellierung: die beiden Kulturen

Was jedoch hinzugefügt werden muss, ist, dass auch wenn die beiden Wissenschaften mit unterschiedlichen Perspektiven begannen, beide jetzt jetzt ein angemessenes Maß an allgemeinem Wissen und Techniken haben. Warum, weil die Probleme gleich waren, aber die Werkzeuge waren unterschiedlich. Jetzt wird maschinelles Lernen hauptsächlich aus statistischer Sicht behandelt (überprüfen Sie den Hastie, Tibshirani, Friedman Book Die Elemente des statistischen Lernens Aus maschinellem Lernen mit einer statistischen Behandlung und vielleicht Kevin P. Murphys Buch Maschinelles Lernen: Eine probabilistische Perspektive, um nur einige der besten Bücher zu nennen, die heute verfügbar sind).

Sogar die Geschichte der Entwicklung dieses Feldes zeigt die Vorteile dieser Verschmelzung von Perspektiven. Ich werde zwei Ereignisse beschreiben.

Die erste ist die Schaffung von Karrenbäumen, die von Breiman mit einem soliden statistischen Hintergrund geschaffen wurden. Ungefähr zur gleichen Zeit entwickelte Quinlan ID3, C45, siehe 5 usw. Entscheidungsbaumsuite mit einem mehr Informatikhintergrund. Jetzt werden sowohl diese Familien von Bäumen als auch die Ensemble -Methoden wie das Absacken und Wälder ziemlich ähnlich.

In der zweiten Geschichte geht es darum, zu steigern. Anfangs wurden sie von Freund und Shapire entwickelt, als sie Adaboost entdeckten. Die Auswahlmöglichkeiten für das Entwerfen von Adaboost wurden hauptsächlich aus rechnerischer Sicht getroffen. Sogar die Autoren haben nicht gut verstanden, warum es funktioniert. Nur 5 Jahre später beschrieb Breiman (wieder!) Das Adaboost -Modell aus statistischer Sicht und gab eine Erklärung dafür, warum dies funktioniert. Seitdem entwickelten verschiedene bedeutende Wissenschaftler mit beiden Arten von Hintergründen weiter die Ideen, die zu einer Plejaden von Boosting -Algorithmen wie logistischer Steigerung, Gradienten -Boosting und sanftem Steigerung von ANS führten. Es ist jetzt schwer zu denken, ohne einen soliden statistischen Hintergrund zu steigern.

Generalisierte lineare Modelle sind eine statistische Entwicklung. Neue Bayesian -Behandlungen setzen diesen Algorithmus jedoch auch auf dem Spielplatz für maschinelles Lernen. Ich glaube also, dass beide Behauptungen richtig sein könnten, da die Interpretation und Behandlung der Funktionsweise unterschiedlich sein könnte.

Answer 3

Zusätzlich zu Bens Antwort besteht die subtile Unterscheidung zwischen statistischen Modellen und maschinellem Lernmodellen darin, dass Sie in statistischen Modellen vor dem Erstellen des Modells explizit die Ausgangsgleichungsstruktur entscheiden. Das Modell wurde entwickelt, um die Parameter/Koeffizienten zu berechnen.

Nehmen Sie zum Beispiel lineares Modell oder GLM,

y = a1x1 + a2x2 + a3x3

Ihre unabhängigen Variablen sind x1, x2, x3 und die zu bestimmenden Koeffizienten sind A1, A2, A3. Sie definieren Ihre Gleichungsstruktur auf diese Weise, bevor Sie das Modell erstellen und A1, A2, A3 berechnen. Wenn Sie glauben, dass Y auf nichtlineare Weise mit X2 korreliert ist, können Sie so etwas ausprobieren.

y = a1x1 + a2(x2)^2 + a3x3.

Daher setzen Sie eine Einschränkung in Bezug auf die Ausgangsstruktur ein. Inhärent statistische Modelle sind lineare Modelle, es sei denn, Sie verwenden explizit Transformationen wie Sigmoid oder Kernel, um sie nichtlinear (GLM und SVM) zu machen.

Bei maschinellen Lernmodellen spezifizieren Sie selten die Ausgangsstruktur und Algorithmen wie Entscheidungsbäume sind von Natur aus nichtlinear und arbeiten effizient.

Im Gegensatz zu dem, worauf Ben hervorgeht, sind maschinelle Lernmodelle nicht nur die Vorhersage, sondern auch um Klassifizierung, Regression usw., mit denen Vorhersagen vorgenommen werden können, die auch von verschiedenen statistischen Modellen durchgeführt werden.

Answer 4

GLM ist absolut statistisches Modell, während in der industriellen Produktion immer mehr statistische Methoden als maschinelles Lernen angewendet wurden Tricks . Die Metaanalyse, die ich in diesen Tagen am meisten gelesen habe, ist ein gutes Beispiel im statistischen Bereich.

Eine perfekte industrielle Anwendung mit GLM kann erklären, warum Ihr Freund Ihnen gesagt hat, dass GLM als maschinelles Lernen angesehen wurde Technik . Sie können das Quellpapier verweisen http://www.kdd.org/kdd2016/papers/files/adf0562-zhanga.pdf über das .

Ich habe eine vereinfachte implementiert, die vor einigen Wochen als Hauptrahmen für mein Empfehlungssystem in Produktionsszenario behandelt wurde. Sehr geschätzt, wenn Sie mir einige Tipps geben, und Sie können den Quellcode überprüfen: https://github.com/paynejoe/algo-sensetime/blob/master/src/main/scala/glmm.scala

Hoffe, dass dies Ihnen hilft, guten Tag!