Backpropagation in lotti e la formazione

Question

Backpropagation calcola dW (peso delta) per peso per ogni modello, quindi è semplice come modificare i pesi quando si fa formazione stocastica. Come si usa per la formazione in batch, però? dW Semplicemente accumluate sopra l'intero set di formazione e quindi applicare la modfication, o c'è di più ad esso?

Answer 1

Sì, proprio accumluate dW sopra l'intero set di training. Almeno è così che ho codificato nuovamente a scuola grad ...

Answer 2

Si può fare molto con le diverse sfumature dei diversi campioni. Che include più alto informazioni sugli ordini (approssimativa secondo derivato) o gradiente coniugato o pendenza naturale o ...:)