単一のネットワーク - 複数の出力、または複数のネットワーク - 単一出力？

Question

フィードを複数の出力を持つフォワードニューラルネットワークを設計する際に、

は、複数の出力を持つ単一のネットワークを有し、それぞれが単一の出力を有する、複数のネットワークを有する間（計算efficency以外）の概念差がある

「オンザフライ」お互いに影響を与えることはありません同じネットワーク内の出力ニューロンは、彼らがそれぞれの出力backpropagatesからのエラー以来の訓練を、影響を与え、ひいてはの値に影響を与える隠された層の重みを、影響を与えないが他の出力ます。

より良い方法のいずれかを解決しているが問題はありますか？直感的に、私は、単一のネットワークがより良い複数のネットワークより良いフィット感の問題は、複数の出力は、（simultanouslyアクティブにできる時間（すなわちOCR）、一つだけの出力がアクティブであるべき問題が収まることを言うと思いますつまり際に、いくつかの特性にそれぞれ出力対応入力には、それらのいくつかは）simultaniously存在することができるところ。しかし、これは単なる直感です。それは実質的に保有していますか？

Answer 1

あなた自身を述べたように、

概念の違いは、別のトレーニング対合同訓練です。私は人々が問題を（例えば、すべての出力が文字を認識程度であれば）関連している場合は、ほとんどの場合、共同訓練が役立つことを見つけると思います。私は両方の問題にあなたは関係なく、複数の出力が同時にアクティブにできるかどうかの、合同訓練が役立つ言及ということを考えると思いますので。

ケースどこ合同訓練が役に立たないとタスクは、例えば、まったく関連していないとき、おそらく傷があります一方の出力は、「文字A」と別の1程度であれば「音X」についてです。