backpropagation والتدريب على الدفعة

Question

backpropagation يحسب dW (وزن دلتا) لكل وزن لكل نمط ، لذلك من السهل كيفية تعديل الأوزان عند إجراء التدريب العشوائي. كيف يمكنني استخدامه للتدريب على الدفعة ، رغم ذلك؟ ببساطة تراكم dW على مجموعة التدريب بأكملها ثم قم بتطبيق التعديل ، أم أن هناك أكثر من ذلك؟

Answer 1

نعم ، فقط تراكم DW على مجموعة التدريب بأكملها. على الأقل هذه هي الطريقة التي قمت بترميزها في مدرسة الدراسات العليا ...

Answer 2

يمكنك القيام بالكثير مع التدرجات المختلفة من العينات المختلفة. يتضمن ذلك معلومات أعلى ترتيب (مشتق تقريبي ثانوي) أو التدرج المترافق أو التدرج الطبيعي أو ... :)