Обратное распространение ошибки и пакетное обучение

Question

Обратное распространение вычисляет dW (дельта веса) для каждого веса для каждого шаблона, поэтому легко изменить веса при выполнении стохастического обучения.Однако как мне использовать его для пакетного обучения?Просто накапливайте dW по всему обучающему набору, а затем применить модификацию, или это еще не все?

Answer 1

Да, просто накапливайте dW за весь обучающий набор.По крайней мере, я так это писал в аспирантуре...

Answer 2

Вы можете многое сделать, используя разные градиенты из разных образцов.Сюда входит информация более высокого порядка (приблизительная 2-я производная), сопряженный градиент, естественный градиент или…:)