Propagación hacia atrás y el entrenamiento por lotes

Question

retropropagación calcula dW (delta de peso) del peso de cada patrón, por lo que es sencillo cómo modificar los pesos cuando se hace la formación estocástico. ¿Cómo lo uso para el entrenamiento por lotes, sin embargo? dW simplemente accumluate lo largo de todo el conjunto de entrenamiento y luego aplicar el modfication, o hay más?

Answer 1

Sí, sólo accumluate dW sobre todo el conjunto de entrenamiento. Al menos así es como yo codificado de nuevo en la escuela grad ...

Answer 2

Se puede hacer mucho con los diferentes gradientes de las diferentes muestras. Eso incluye mayor información de la orden (aproximado segunda derivada) o gradiente conjugado o gradiente natural o ...:)