È Overfitting un problema in apprendimento non supervisionato?

Question

Vengo a questa domanda mentre leggevo l'uso della PCA per ridurre overfitting è una cattiva pratica. Questo perché PCA non considera etichette classi / uscita e così regolarizzazione è sempre preferito.

Questo sembra puramente valido apprendimento supervisionato.

E il caso per non monitorato Learning ? Non abbiamo tutte le etichette di sorta. Quindi 2 domande.

• È overfitting un problema in apprendimento non supervisionato?
• Se sì, Possiamo usare PCA per evitare overfitting? Che è una buona pratica?

Answer 1

Questo è il riassunto di quello che ho studiato finora:

Fondamentalmente:

Modello :. Modello A è un insieme di regole che si adattano / rappresentano le tendenze / regole a dati forniti

Overfitting :. Overfitting in senso generale è la modellazione di rumore / casualità insieme al campione in cui l'effetto del rumore influisce risultato modello

Con i fondamentali a portata di mano, si può avere un'intuizione che, se si fissa, c'è una possibilità che si può OVERFIT. vale a dire quando è possibile modellare qualcosa che è richiesto, c'è una buona probabilità è possibile modellare qualcosa che non è necessaria.

Quindi, sì, è possibile in overfitting VIGILATA LEARNING.

Se PCA può essere usato per rimuovere / ridurre il overfitting in Unsupervised Learning?

usi apprendimento supervisionato etichette come misura di confronto, vale a dire 2 campioni vengono confrontati in dati (set di funzioni, vettori di feature o qualsiasi gergo si getta in qui.), < strong> wRT le loro etichette per identificare i modelli. Quindi, PCA è una tecnica che non considerano le etichette. Quindi, la rimozione dei dati con PCA non è preferito per la supervisione, come può Dati rimuovere per il quale funzione potrebbe non avere abbastanza informazioni, ma le etichette fare.

Quindi PCA non è raccomandato per la rimozione di overfitting per l'apprendimento supervisionato. Si può usare, se non del tutto, con il rischio che si rischia di perdere le informazioni dai dati.

apprendimento non supervisionato non ha etichette, invece, è inter-paragona 2 campioni per identificare i modelli.

In sostanza, non v'è Nessun dato per il quale funzione potrebbe non avere abbastanza informazioni, ma le etichette fare le etichette non esistono. Così, PCA vi aiuterà a ridurre la dimensionalità in quanto tenderebbe a dati differire quel non aggiunge molto di informazioni.

Detto sopra, non è necessario che sarebbe sicuramente aiutare a ridurre overfitting.

Ma, vale la pena di provare. Come, se il rumore è dominante nei dati, v'è uno schema ben definito nei dati, e il modello è solo astraendolo che trapani verso il basso per la modellazione dei dati.

Quindi sì, PCA può aiutare a ridurre overfitting nei dati, e alla domanda che si tratta di una buona pratica?

Non ho incontrato un articolo o un ragionamento che differisce IT per non monitorato. Indipendentemente da tutto, PCA fa sembrare un approccio pratico alla riduzione sovradattamento per non monitorato l'apprendimento, senza perdita di informazioni.

Answer 2

overfitting accade quando il modello si adatta di dati di addestramento più si adatta alla distribuzione sottostante. In un certo senso, modella il specifica di esempio piuttosto che produrre un più generale modello dei fenomeni o sottostanti processo.

Può essere presentata utilizzando metodi Bayesiani . Se uso Naive Bayes poi ho un modello semplice che potrebbe non andare bene sia il set di dati o la distribuzione troppo bene, ma di bassa complessità.

Supponiamo ora che usiamo una grande rete bayesiana. Potrebbe finire per non essere in grado di ottenere un quadro più chiaro e utilizzare la complessità per modellare il set di dati (o anche solo spazzatura).

Quindi, overfitting è possibile in apprendimento non supervisionato.

In PCA si parte con un modello delle dimensioni del set di dati. Abbiamo ipotesi circa il modo in cui si comporta di dati e li usa per ridurre le dimensioni del modello, eliminando le parti che non spiegano i principali fattori di variazione. Dal momento che si riduce la dimensione del modello ci si potrebbe aspettare di beneficiare sempre.

Tuttavia, ci troviamo ad affrontare i problemi. In primo luogo, un modello delle dimensioni del set di dati è estremamente grande (dato un grande esempio è possibile modellare qualsiasi set di dati). La compressione è un po 'non è sufficiente.

Un altro problema è che è possibile che le nostre ipotesi non sono corretti. Poi avremo un modello più piccolo essere che non sarà allineato con la distribuzione. Ancora una volta, in questo caso potrebbe OVERFIT o semplicemente non in forma del modello.

Anche se questo, PCA ha lo scopo di ridurre la dimensionalità, che portano a un modello più piccolo e possibilmente ridurre la possibilità di sovradattamento. Quindi, nel caso in cui la distribuzione adatta le ipotesi PCA, dovrebbe aiutare.

In sintesi, overfitting è possibile in apprendimento non supervisionato troppo. aiuto potrebbe PCA con esso, su un dato adeguato.