Backpropagation und Batch-Training

Question

Backpropagation berechnet dW (Gewicht delta) pro Gewicht pro Muster, so dass es einfach ist, wie Gewichte zu modifizieren, wenn stochastisches Training zu tun. Wie kann ich es für Batch-Training verwenden, obwohl? Einfach accumluate dW über den gesamten Satz Training und dann die modfication gelten, oder ist es mehr?

Answer 1

Ja, accumluate nur Dw über den gesamten Trainingssatz. Mindestens das ist, wie ich es codiert in grad Schule zurück ...

Answer 2

Sie können mit den verschiedenen Steigungen aus den verschiedenen Proben eine Menge tun. Dazu gehören höhere Auftragsinformationen (Dauer: ca. 2. Ableitung) oder konjugierten Gradienten oder natürlichen Gefälle oder ...:)