バックプロパゲーションとバッチ訓練

Question

バックプロパゲーションを計算dW（重量デルタ）パターンあたりの重量あたり、それは確率的なトレーニングを行う際の重みを変更する方法は簡単ですので。どのように私はかかわらず、バッチ訓練のためにそれを使うのですか？単にaccumluate全体のトレーニングセット以上dWとmodficationを適用する、またはそれにそこに多くのでしょうか？

Answer 1

はい、ちょうど全体のトレーニングセット上dWがしaccumluate。少なくとも、それは私が戻って大学院でそれをコード化する方法です...

Answer 2

あなたは、異なるサンプルは異なる勾配で多くのことを行うことができます。つまり、...高次情報（おおよそ2誘導体）、または共役勾配あるいは自然勾配を含むか：）