Les réseaux de neurones - poids de réglage

Question

Ma question serait au sujet rétropropagation et comprendre les termes NN vs anticipatrice rétropropagation. J'ai deux questions vraiment:

1. Si je comprends bien, même un réseau anticipatrice met à jour ses poids (via une règle delta par exemple). Est-ce pas aussi rétropropagation? Vous avez des poids aléatoires, exécutez les données à travers le réseau, puis Recouper avec la sortie désirée, puis mettre à jour les règles. Ceci est rétropropagation, non? Alors, quelle est la différence entre FFW NN et RNN? Si vous ne pouvez pas backpropagate d'autre part, comment voulez-vous mettre à jour les poids dans un FFW NN?

2. J'ai vu des architectures NN qui ressemble à ceci:

En fait tous les neurones sont nourris les mêmes données, non? OK, les poids sont répartis de façon aléatoire et donc différent au début, mais comment vous assurez-vous Temp. Valeur # 1 sera différente de Temp. Valeur # 2, si vous utilisez la même règle de mise à jour?

Merci!

Answer 1

Je ne suis pas un expert sur l'algorithme de rétropropagation, mais je peux expliquer quelque chose. Chaque réseau de neurones peut mettre à jour le poids est tout. Il peut le faire de différentes façons, mais il peut. Ceci est appelé rétropropagation , quelle que soit l'architecture du réseau.

Un flux réseau avant est un réseau régulier, comme on le voit dans votre image. Une valeur est reçue par un neurone, puis transmis à la suivante.

Un réseau de neurones récurrent est presque le même que FFN, la différence étant que le RNN a des connexions point « arrière ». Par exemple. un neurone est connecteded à un neurone qui a déjà fait son « travail » au cours de rétropropagation. De ce fait, les activations de la sortie précédente ont un effet sur la nouvelle sortie.

Sur la question n ° 2

Question intéressante. Cela a à voir avec l'initialisation du poids. Oui, vous avez raison, chaque neurone dans la couche cachée accepte les mêmes connexions. Cependant, au cours du processus de initalization, ils ont reçu un poids aléatoire . En fonction de votre NN libary, les neurones pourraient également avoir été initialisé avec un biais aléatoire .

Ainsi, même si la même règle est appliquée, chaque neurone a des résultats différents que toutes ses connexions ont différents poids que les autres poids des neurones.

Sur votre commentaire. Simplement parce que tous les neurones arrive d'avoir la même fonction de rétropropagation, ne signifie pas qu'ils vont se retrouver avec les mêmes poids

Comme ils sont initialisés avec des poids aléatoires, chacun des neurones error est différent. Ainsi, ils ont un gradient différent, et auront de nouveaux poids.

Vous devez aussi garder à l'esprit que, pour une certaine sortie à atteindre, il y a plusieurs solutions (en raison de la non-linéarité). Ainsi, en raison des poids aléatoires initialisées, un neurone peut être proche d'une certaine solution tandis qu'un autre neurone est plus proche de l'autre.

En outre, comme cela a été dit dans les commentaires, Le réseau dans son ensemble . Le neurone de sortie est non-linéaire, et pour la plupart des cas de test, la sortie doit être non-linéaire et le neurone de sortie la plus probable exige que les neurones cachés activent à différentes valeurs d'entrée.