单个网络 - 多个输出，或多个网络 - 单输出？

Question

当设计一个进料具有多个输出的前馈神经网络，是否存在具有多个输出的单个网络，并具有多个网络，每个都具有单个输出之间的概念上的差异（超过计算efficency其他）？

虽然在同一个网络不“在飞行中”相互影响在输出神经元，它们影响训练，由于从每个输出backpropagates误差并影响隐藏层的权重，这反过来又影响的值其他输出。

是否有问题，更好地解决了无论哪种方式？直观地说，我说的是一个单一的网络更好地满足问题，其中只有一个输出应活性在时间（即OCR），其中，多个网络更好的贴合问题，其中多个输出可以是simultanously活性（即，当每个输出对应于一些特征在输入，其中它们中的多个可以存在同时放）。但是，这仅仅是直觉。它是否实际持有？

Answer 1

在概念上的差异，因为你注意到自己，是联合训练与单独的培训。我认为，人们发现，在大多数情况下联合训练的帮助，如果该问题（例如，如果所有输出关于识别字符）有关。所以我认为，在这两个问题，你提到的联合训练将帮助，无论多路输出是否可以同时激活。

其中联合训练不会帮助，可能会受到伤害时任务不是在所有相关的一种情况，例如如果一个输出是一个关于“字符A”，另一种是关于“声音x”。