شبكة واحدة - مخرجات متعددة ، أو شبكات متعددة - إخراج واحد؟

Question

عند تصميم شبكة عصبية للأمام مع مخرجات متعددة ، هل هناك اختلاف مفاهيمي (بخلاف الفعالية الحسابية) بين وجود شبكة واحدة مع مخرجات متعددة ، ولديها شبكات متعددة ، كل منها لديه إخراج واحد؟

على الرغم من أن الخلايا العصبية المخرجات في نفس الشبكة لا تؤثر على بعضها البعض "أثناء الطيران" ، فإنها تؤثر على التدريب ، لأن الخطأ من كل الإخراج الخلفي ويؤثر على أوزان الطبقة المخفية ، والتي بدورها تؤثر على قيمة المخرجات الأخرى .

هل هناك مشاكل يتم حلها بشكل أفضل في كلتا الحالتين؟ بشكل حدسي ، أود أن أقول إن شبكة واحدة تناسب المشكلات بشكل أفضل حيث يجب أن يكون الإخراج واحد فقط نشطًا في وقت واحد (أي OCR) ، حيث تتناسب شبكات متعددة بشكل أفضل حيث يمكن أن تكون المخرجات المتعددة نشطة بشكل متزامن (أي عندما يتوافق كل مخرج مع بعض الخصائص في المدخلات ، حيث يمكن أن يكون العديد منهم حاضرين بشكل متزامن). ولكن هذا مجرد حدس. هل تمسك عمليا؟

Answer 1

الفرق المفاهيمي ، كما لاحظت نفسك ، هو تدريب مشترك مقابل تدريب منفصل. أعتقد أن الناس يجدون أنه في معظم الحالات يساعد التدريب المشترك إذا كانت المشكلات مرتبطة (على سبيل المثال ، إذا كانت جميع المخرجات تتعلق بالتعرف على الشخصيات). لذلك أعتقد أنه في كلتا المشكلتين ، ستذكر أن التدريب المشترك سيساعد ، بغض النظر عما إذا كانت المخرجات المتعددة يمكن أن تكون نشطة في وقت واحد.

حالة التدريب المشترك الذي لن يساعده التدريب المشترك وربما يتأذى هو عندما لا تكون المهام مرتبطة على الإطلاق ، على سبيل المثال ، إذا كان أحد الإخراج يتعلق بـ "حرف" وآخر يدور حول "الصوت X".