dimensione del set di dati efficiente per un addestramento di reti neurali feed-forward

Question

Sto utilizzando una rete neurale feed-foward in Python utilizzando il href="http://www.pybrain.org/" rel="nofollow"> pybrain implementazione Quindi, ecco la domanda:
Come faccio a calcolare la quantità ottimale di dati per la mia formazione?
Da quando ho provato con 500 articoli nel set di dati e ci sono voluti molte ore a convergere, preferirei non dover cercare troppo le dimensioni. I risultati che sono abbastanza bene con questo ultimo dimensioni, ma vorrei trovare la quantità ottimale. La rete neurale ha circa 7 ingressi, 3 nodi nascosti e un'uscita.

Answer 1

  

Come faccio a calcolare la quantità ottimale   dei dati per la mia formazione?

E 'completamente soluzione-dipendente. C'è anche un po 'di arte con la scienza. L'unico modo per sapere se siete in overfitting territorio è da testare regolarmente la rete da un set di dati di convalida (che è i dati si fanno non treno con). Quando le prestazioni su quel set di dati comincia a cadere, probabilmente avete allenato troppo -. Rullo posteriore per l'ultima iterazione

  

I risultati sono stati abbastanza buoni con questo   ultima dimensione ma vorrei trovare il   quantità ottimale.

"Optimal" non è necessariamente possibile; dipende anche dalla vostra definizione. Quello che stai in genere alla ricerca di un alto grado di fiducia che un dato insieme di pesi eseguirà "bene" su dati non visto. Questa è l'idea alla base di un set di validazione.

Answer 2

La diversità del set di dati è molto più importante della quantità di campioni che si stanno alimentando alla rete.

Si consiglia di personalizzare il set di dati per includere e rafforzare i dati che si desidera che la rete per imparare.

Dopo aver realizzato questo set di dati personalizzati è necessario iniziare a giocare con la quantità di campioni, in quanto è completamente dipendente sul vostro problema.

Per esempio: se si sta creando una rete neurale per rilevare i picchi di un particolare segnale, sarebbe del tutto inutile per addestrare la rete con un triliardo di campioni dei segnali che non hanno picchi. Qui sta l'importanza di personalizzare il set di dati di formazione, non importa quanti campioni si dispone.

Answer 3

Tecnicamente parlando, nel caso generale, e supponendo che tutti gli esempi sono corretti, poi altri esempi sono sempre meglio. La questione in realtà è, qual è il miglioramento marginale (derivata prima di qualità risposta)?

È possibile verificare questa addestrando con 10 esempi, il controllo della qualità (diciamo 95%), poi 20, e così via, per ottenere un tavolo come:

10 95%
20 96%
30 96.5%
40 96.55%
50 96.56%

si può quindi vedere chiaramente i vostri guadagni marginali, e rendere la vostra decisione di conseguenza.