Un'unica rete - più uscite, o reti multiple - singola uscita?

Question

Nel progettare un feed forward rete neurale con più uscite, c'è una differenza concettuale (diversa efficienza computazionale) tra avere una singola rete con più uscite, e avendo più reti, ciascuna avente una singola uscita?

Anche se i neuroni di output nella stessa rete non influenzano l'un l'altro "al volo", esse influiscono formazione, dal momento che l'errore da ogni backpropagates uscita e colpisce i pesi dello strato nascosto, che a loro volta influenzano il valore di le altre uscite.

Ci sono problemi che vengono risolti meglio in entrambi i casi? Intuitivamente, direi che una singola rete si adatta meglio i problemi cui una sola uscita attive alla volta (cioè OCR), in cui più reti problemi meglio adattarsi dove più uscite possono essere attive simultanously (cioè quando ogni corrispondono uscita qualche caratteristica nell'input, dove molti di loro possono essere presenti simultaniously). Ma questa è pura intuizione. Ha praticamente tenere?

Answer 1

La differenza concettuale, come avrete notato te stesso, è la formazione congiunta contro la formazione separata. Credo che le persone trovano che nella maggior parte dei casi la formazione congiunta aiuta se i problemi sono legati (per esempio se tutte le uscite sono di riconoscere caratteri). Così mi piacerebbe pensare che che in entrambi i problemi si parla di formazione congiunta contribuirà, indipendentemente dal fatto che uscite multiple possono essere attivi contemporaneamente.

Un caso in cui la formazione congiunta non sarebbe di aiuto e probabilmente male è quando le attività non sono legati a tutti, ad esempio, se uno di uscita è di 'carattere di un' e un altro è di circa 'il suono x'.