représentation des neurones cachés de poids

Question

Dans un RBM, si nous représentons les poids apprises par les unités cachées, ils montrent que le réseau de neurones est l'apprentissage des formes de base. Par exemple, pour l'ensemble de données mnist, ils apprennent les caractéristiques des numéros qu'ils essaient de classer.

Dans un réseau d'alimentation en avant régulière avec une couche cachée, je peux former le réseau à reconnaître les chiffres, et il fonctionne, mais lorsque je tente de visualiser les poids de la couche cachée, je ne vois que du bruit, aucune caractéristique distincte. Pourquoi donc? N'a pas le réseau appris à reconnaître les chiffres?

Answer 1

Il a appris à reconnaître les chiffres, mais il aurait pu mettre trop de poids sur un seul pixels. Essayez d'ajouter des quantités différentes de régularisation L2 ou l'abandon scolaire et comparer les visualisations des poids. Ajout d'une sorte de régularisation devrait rendre le net moins compter sur des pixels individuels / indépendants et plus sur la structure inhérente des chiffres, vous donnant ainsi plus lisse poids / visualisation.