反向传播和批量培训

Question

反向传播计算每图案重量dW（重量增量），因此它的简单如何做随机训练时修改权重。我如何使用它的批量训练有关系吗？在整个训练集的简单accumluate dW，然后应用modfication，或是否有更多的吗？

Answer 1

是，只是accumluate一页在整个训练集。至少这是我如何编码它在读研究生...

返回

Answer 2

可以做很多与来自不同样品的不同的梯度。这包括更高阶的信息（近似第二导数）或共轭梯度或自然梯度或...：）