réseau unique - sorties multiples, ou plusieurs réseaux - sortie unique?

Question

Lors de la conception d'une alimentation vers l'avant réseau neuronal avec des sorties multiples, est-il une différence conceptuelle (autres que efficency de calcul) entre avoir un seul réseau avec plusieurs sorties, et ayant de multiples réseaux, chacun ayant une sortie unique?

Bien que les neurones de sortie dans le même réseau n'affectent pas les uns les autres « à la volée », ils affectent la formation, puisque l'erreur de chaque backpropagates de sortie et affecte les poids de la couche cachée, ce qui affecte la valeur de les autres sorties.

Y at-il des problèmes qui sont mieux résolus de toute façon? Intuitivement, je dirais qu'un seul réseau correspond mieux à des problèmes où une seule sortie doit être active à la fois (c.-à-OCR), où plusieurs réseaux problèmes d'ajustement mieux où plusieurs sorties peuvent être actives simultanously (lorsque chaque sortie correspond à une caractéristique dans l'entrée, où plusieurs d'entre eux peuvent être présents simultaniously). Mais cela est une simple intuition. Est-il tenir pratiquement?

Answer 1

La différence conceptuelle, comme vous noté, est une formation commune par rapport à la formation séparée. Je pense que les gens trouvent que dans la plupart des cas une formation commune aide si les problèmes sont liés (par exemple si toutes les sorties sont sur la reconnaissance de caractères). Donc, je pense que cela va aider, que plusieurs sorties peuvent être actives simultanément dans les deux problèmes que vous mentionnez une formation commune.

Un cas où une formation commune ne serait pas utile et probablement mal est lorsque les tâches ne sont pas liés du tout, par exemple si une sortie est d'environ « un caractère » et l'autre est sur le « bruit x ».