Rétropropagation et de la formation par lots

Question

rétropropagation calcule dW (delta poids) par poids par modèle, il est donc facile comment modifier des poids lorsque vous faites la formation stochastique. Comment puis-je utiliser pour la formation de lots, bien? Il suffit de accumluate dW sur l'ensemble de la formation complète, puis appliquer le modfication, ou est-il de plus?

Answer 1

Oui, juste accumluate dW sur l'ensemble d'apprentissage. Au moins c'est-ce que je codé le dans l'école grad ...

Answer 2

Vous pouvez faire beaucoup avec les différents gradients des différents échantillons. Cela comprend des informations d'ordre supérieur (dérivé approximatif 2e) ou gradient conjugué ou gradient naturel ou ...:)