Rede única - várias saídas ou várias redes - saída única?

Question

Ao projetar uma rede neural de avanço com várias saídas, existe uma diferença conceitual (exceto a eficácia computacional) entre ter uma única rede com várias saídas e ter várias redes, cada uma com uma única saída?

Embora os neurônios de saída na mesma rede não afetem um ao outro "na mosca", eles afetam o treinamento, uma vez que o erro de cada saída retropropaga e afeta os pesos da camada oculta, o que, por sua vez, afeta o valor das outras saídas .

Existem problemas que são melhor resolvidos de qualquer maneira? Intuitivamente, eu diria que uma única rede se encaixa melhor em problemas em que apenas uma saída deve estar ativa por vez (ou seja, OCR), onde várias redes se encaixam melhor em problemas em que várias saídas podem ser ativas simultaneamente (ou seja, quando cada saída corresponde a algumas características na entrada, onde vários deles podem estar presentes simultaneamente). Mas isso é mera intuição. Praticamente segura?

Answer 1

A diferença conceitual, como você se observou, é o treinamento conjunto versus o treinamento separado. Eu acho que as pessoas acham que, na maioria dos casos, o treinamento conjunto ajuda se os problemas estiverem relacionados (por exemplo, se todas as saídas forem sobre o reconhecimento de caracteres). Então, eu pensaria que em ambos os problemas que você menciona o treinamento conjunto ajudará, independentemente de várias saídas possam ser ativas simultaneamente.

Um caso em que o treinamento conjunto não ajudaria e provavelmente prejudicaria é quando as tarefas não estiverem relacionadas, por exemplo, se uma saída é sobre 'personagem A' e outra é sobre 'Sound X'.