GLM è un modello di apprendimento statistico o la macchina?

Question

ho pensato che il modello lineare generalizzato (GLM) sarebbe considerato un modello statistico, ma un amico mi ha detto che alcune carte classificano come una tecnica di apprendimento automatico. Quale delle due è vera (o più precisi)? Ogni spiegazione sarebbe apprezzato.

Answer 1

A GLM è assolutamente un modello statistico, ma i modelli statistici e tecniche di apprendimento automatico non si escludono. In generale, le statistiche è più interessato a parametri inferendo, mentre nel machine learning, la previsione è l'obiettivo finale.

Answer 2

Per quanto riguarda la previsione, le statistiche e le scienze di apprendimento automatico iniziate per risolvere in gran parte lo stesso problema da prospettive diverse.

Fondamentalmente statistiche presuppone che i dati sono stati prodotti da un determinato modello stocastico. Quindi, da un punto di vista statistico, un modello è assunto e dato varie ipotesi vengono trattati gli errori ed i parametri del modello e altre questioni sono dedotta.

Apprendimento automatico viene da un punto di vista informatico. I modelli sono algoritmico e sono necessari di solito molto pochi ipotesi per quanto riguarda i dati. Lavoriamo con spazio delle ipotesi e pregiudizi apprendimento. La migliore esposizione di machine learning che ho trovato è contenuta nel libro di Tom Mitchell chiamato Machine Learning .

Per avere un'idea più esaustiva e completa per quanto riguarda le due culture si può leggere il giornale Leo Breiman chiamato noreferrer statistica di modellazione: Le due culture

Tuttavia ciò che si deve aggiungere è che, anche se le due scienze iniziate con diversi punti di vista, sia di loro ora condividono ora una buona dose di conoscenze e tecniche comuni. Perché, perché i problemi erano gli stessi, ma gli strumenti erano diverse. Così ora l'apprendimento automatico è in gran parte trattata dal punto di vista statistico (controllare la Hastie, Tibshirani, libro Friedman The Elements di statistica Learning da una macchina punto di vista l'apprendimento con un trattamento statistico, e forse il libro di Kevin P. Murphy s' Machine Learning: una prospettiva probabilistica , per citarne solo alcuni dei migliori libri disponibili oggi).

Anche la storia dello sviluppo di questo campo mostrano i benefici di questa fusione di prospettive. Mi limiterò a descrivere due eventi.

La prima è la creazione di alberi CART, che è stato creato da Breiman con uno sfondo statistica solida. Più o meno nello stesso tempo, Quinlan sviluppato ID3, C45, See5, e così via, suite di albero di decisione con un altro computer di scienza sfondo. Ora entrambi questo le famiglie di alberi e il metodi di ensemble come insaccamento e le foreste diventano abbastanza simile.

La seconda storia parla di amplificazione. Inizialmente sono stati sviluppati da Freund e Shapire quando hanno scoperto AdaBoost. Le scelte per la progettazione AdaBoost sono stati fatti per lo più da un punto di vista computazionale. Anche gli autori non hanno capito bene perché funziona. A soli 5 anni dopo Breiman (di nuovo!) Ha descritto il modello AdaBoost dal punto di vista statistico e ha dato una spiegazione del perché che funziona. Da allora, vari scienziati eminenti, con entrambi i tipi di sfondi, ulteriormente sviluppato quelle idee che conducono ad una Pleiadi di algoritmi di amplificazione, come logistica aumentando, pendenza aumentando, dolci ans d'amplificazione così via. E 'difficile oggi pensare a incrementare senza un background statistico solida.

modelli lineari generalizzati è uno sviluppo statistico. Tuttavia nuovi trattamenti bayesiani mette questo algoritmo anche nel parco giochi di apprendimento automatico. Quindi credo che entrambe le affermazioni potrebbero avere ragione, poiché l'interpretazione e il trattamento di come funziona potrebbe essere diverso.

Answer 3

In aggiunta alla risposta di Ben, la sottile distinzione tra modelli statistici e modelli di apprendimento automatico è che, in modelli statistici, si decide in modo esplicito la struttura equazione uscita prima di costruire il modello. Il modello è costruito per calcolare i parametri / coefficienti.

Prendere modello lineare o GLM per esempio,

y = a1x1 + a2x2 + a3x3

I tuoi variabili indipendenti sono x1, x2, x3 ei coefficienti da determinare sono a1, a2, a3. Si definisce la struttura equazione in questo modo prima di costruire il modello e calcolo a1, a2, a3. Se credi che y è in qualche modo correlata alla x2 in modo non lineare, si potrebbe provare qualcosa di simile.

y = a1x1 + a2(x2)^2 + a3x3.

In questo modo, si mette una limitazione in termini di struttura di output. Intrinsecamente modelli statistici sono modelli lineari a meno che non si applica esplicitamente trasformazioni come sigma o kernel per renderli non lineare (GLM e SVM).

In caso di modelli di apprendimento automatico, raramente si specifica struttura di output e algoritmi come gli alberi di decisione sono intrinsecamente non-lineare e lavoro in modo efficiente.

Al contrario di quello che Ben ha sottolineato, modelli di apprendimento automatico non sono solo di previsione, che fanno di classificazione, di regressione, ecc, che possono essere usati per fare delle previsioni che sono fatte anche da diversi modelli statistici.

Answer 4

GLM è assolutamente un modello statistico, mentre i metodi sempre più statistiche sono applicati nella produzione industriale di machine learning trucchi . Meta-analisi che ho letto più in questi giorni è un buon esempio nel campo statistica.

Un'applicazione industriale perfetto con GLM può spiegare perché il vostro amico vi ha detto che GLM è stato considerato come un apprendimento automatico tecnica . È possibile fare riferimento la carta fonte http://www.kdd.org/ kdd2016 / documenti / file / adf0562-zhangA.pdf di questo.

I implementato uno semplificato che è stato trattato come il quadro principale per il mio sistema di raccomandazione nello scenario di produzione poche settimane fa. Molto apprezzato se mi dai qualche consiglio, e si può controllare il codice sorgente: https://github.com/PayneJoe/algo-sensetime/blob/master/src/main/scala/GLMM.scala

spera che questo ti aiuta, buon giorno!