Одной сеть - несколько выходов или несколько сетей - один вывод?

Question

При разработке кормовой прямой нейронной сети с несколькими выходами существует ли концептуальная разница (кроме вычислительной эффективности) между одной сетью с несколькими выходами, а также несколько сетей, каждый из которых имеет один вывод?

Хотя выходные нейроны в той же сети не влияют друг на друга «на лету», они влияют на тренировку, поскольку ошибка от каждого вывода обратно и влияет на веса скрытого слоя, что, в свою очередь, влияет на значение других выходов. Отказ

Есть ли проблемы, которые лучше решаются в любом случае? Интуитивно, я бы сказал, что одна сеть лучше соответствует проблемам, где только один выход должен быть активен за раз (то есть OCR), где несколько сетей лучше соответствуют проблемам, где несколько выходов могут быть активны одновременно (то есть, когда каждый вывод соответствует некоторой характеристике. На входе, где несколько из них могут присутствовать одновременно). Но это просто интуиция. Это практически удерживает?

Answer 1

Концептуальная разница, как вы уже отмечали, это совместное обучение против отдельного обучения. Я думаю, что люди считают, что в большинстве случаев совместное обучение помогает, если проблемы связаны (например, если все выходы о признании распознавания символов). Поэтому я бы подумал, что в обеих проблемах вы упоминаете совместное обучение, не будут, независимо от того, могут ли несколько выходов быть активными одновременно.

Случай, когда совместное обучение не поможет и, вероятно, повредит, когда задачи вообще не связаны, например, если один вывод о «характере A», а другой - «звук X».