Backpropagation e treinamento em lote

Question

Backpropagation calcula dW (Peso delta) por peso por padrão, por isso é direto como modificar pesos ao fazer treinamento estocástico. Como eu o uso para treinamento em lote? Simplesmente se acumule dW em todo o conjunto de treinamento e depois aplique a modficação, ou há mais?

Answer 1

Sim, apenas se acumule a DW em todo o conjunto de treinamento. Pelo menos é assim que eu o codifiquei na pós -graduação ...

Answer 2

Você pode fazer muito com os diferentes gradientes das diferentes amostras. Isso inclui informações de ordem superior (2ª derivada aproximada) ou gradiente conjugado ou gradiente natural ou ... :)