Sola red - múltiples salidas, o múltiples redes - salida única?

Question

Al diseñar una alimentación de red hacia adelante neural con múltiples salidas, hay una diferencia conceptual (aparte de eficiencia computacional) entre tener una sola red con múltiples salidas, y que tiene múltiples redes, cada uno con una única salida?

A pesar de que las neuronas de salida en la misma red no afectan entre sí "sobre la marcha", que afectan a la formación, ya que el error de cada uno backpropagates de salida y afecta a los pesos de la capa oculta, que a su vez influye en la valoración las otras salidas.

¿Hay problemas que se resuelven mejor de cualquier manera? Intuitivamente, diría que una única red se ajusta mejor los problemas donde sólo una salida debe ser activo a la vez (es decir, OCR), donde múltiples redes problemas mejor ajuste donde múltiples salidas pueden ser activos simultaneamente (es decir, cuando cada corresponden salida a alguna característica en la entrada, donde varios de ellos puede estar presente simultaneamente). Pero esto es una mera intuición. Qué se mantenga prácticamente?

Answer 1

La diferencia conceptual, como usted señaló a sí mismo, es la formación conjunta frente a la formación independiente. Creo que la gente encuentra que en la mayoría de los casos la formación conjunta de ayuda si los problemas están relacionados (por ejemplo, si todas las salidas están sobre el reconocimiento de caracteres). Así que yo creo que en los dos problemas que usted menciona la formación conjunta ayudará, independientemente de si múltiples salidas pueden estar activos al mismo tiempo.

Un caso en el que la formación conjunta no ayuda y es probable que el dolor es cuando las tareas no se relaciona en absoluto, por ejemplo, Si una salida se trata de 'un carácter' y otro se trata de 'sonido x'.