Einzel Netzwerk - mehrere Ausgänge oder mehr Netzwerke - Einzel Ausgang?

Question

, wenn ein Vorwärtskopplungs neuronales Netz mit mehreren Ausgängen der Gestaltung gibt es eine begriffliche Unterschied (andere als computational efficency) zwischen einem einzelnen Netzwerk mit mehreren Ausgängen, und mehrere Netzwerke, von denen jeder einen einzigen Ausgang?

Obwohl Ausgangsneuronen im gleichen Netzwerk nicht gegenseitig beeinflussen „on the fly“, sie Training beeinflussen, da der Fehler von jedem Ausgang backpropagates und wirkt sich auf die Gewichte der verborgenen Schicht, die wiederum den Wert beeinflussen die anderen Ausgänge.

Gibt es Probleme, die so oder so besser gelöst werden? Intuitiv würde ich sagen, dass ein einziges Netzwerk besser Probleme passt, wo nur ein Ausgang zu einem Zeitpunkt aktiv sein sollte (dh OCR), in der mehrere Netzwerke bessere Passform-Probleme bei der mehrere Ausgänge aktiv simultan sein kann (das heißt, wenn jeder Ausgang entsprechen einige charakteristische im Eingang, wo mehrere von ihnen können vorhanden sein simultaniously). Aber das ist nur die Intuition. Ist es praktisch halten?

Answer 1

Der konzeptionelle Unterschied, wie Sie selbst bemerkt, ist eine gemeinsame Ausbildung vs. getrennte Ausbildung. Ich glaube, die Leute finden, dass in den meisten Fällen eine gemeinsame Ausbildung hilft, wenn die Probleme in Zusammenhang stehen (z wenn alle Ausgänge über Erkennen von Zeichen sind). Also habe ich das denken würde, dass Sie eine gemeinsame Ausbildung in beiden Probleme erwähnen helfen, unabhängig davon, ob mehrere Ausgänge gleichzeitig aktiv sein können.

Ein Fall, in dem eine gemeinsame Ausbildung würde nicht helfen und wird wahrscheinlich verletzt wird, wenn die Aufgaben nicht verwandt, z.B. wenn ein Ausgang ist über ‚Charakter‘ und ein anderer ist etwa ‚Sound x‘.