Selezione delle funzionalità per le macchine vettoriali di supporto

Question

La mia domanda è triplice

Nel contesto di macchine vettoriali di supporto "kernelized"

1. La selezione variabile/caratteristica è desiderabile, soprattutto perché regolarizziamo il parametro C per evitare l'adattamento e il motivo principale alla base dell'introduzione dei kernel in un SVM è aumentare la dimensionalità del problema, in tal caso riducendo le dimensioni per riduzione dei parametri sembra contro -intuitivo
2. Se la risposta alla prima domanda è "no", quindi, su quali condizioni la risposta cambierebbe che si dovrebbe tenere a mente?
3. Ci sono buoni metodi che sono stati tentati di portare alla riduzione delle caratteristiche per SVMS nella libreria di Python di Scikit -Learn - Ho provato il metodo SelectFPR e sto cercando persone con esperienze con metodi diversi.

Answer 1

Personalmente, mi piace dividere la selezione delle caratteristiche in due:

• Selezione di funzionalità non supervisionata
• Selezione delle funzionalità supervisionate

Selezione di funzionalità non supervisionata Sono cose come il clustering o la PCA in cui si seleziona la gamma meno ridondante di funzionalità (o si crea funzionalità con poca ridondanza). Selezione delle funzionalità supervisionate Sono cose come Lazo in cui selezioni le funzionalità con la maggior parte del potere predittivo.

Personalmente di solito preferisco ciò che chiamo selezione delle funzionalità supervisionate. Quindi, quando si utilizza una regressione lineare, selezionerei le funzionalità in base a Lazo. Esistono metodi simili per indurre la scarsità nelle reti neurali.

Ma in effetti, non vedo come lo farei in un metodo usando i kernel, quindi probabilmente stai meglio usando ciò che chiamo selezione di funzionalità non supervisionate.

MODIFICARE: Hai anche chiesto della regolarizzazione. Vedo la regolarizzazione come aiutare principalmente perché lavoriamo con campioni finiti e quindi la distribuzione di formazione e test differirà sempre in qualche modo e vuoi che il tuo modello non si adatti. Non sono sicuro che rimuova la necessità di evitare di selezionare le funzionalità (se ne hai davvero troppi). Penso che la selezione di funzionalità (o crearne un sottoinsieme più piccolo) aiuti a rendere le funzionalità che hai più robuste ed evitare il modello da imparare da correlazioni spurie. Quindi, la regolarizzazione aiuta, ma non sono sicuro che sia un'alternativa completa. Ma non ci ho pensato abbastanza a tutto questo.