Question

Quel est le nombre exact de biais dans un simple couche convolutionnel? La question est assez discuté, mais je ne suis toujours pas tout à fait sûr.

Dis, nous avons (3, 32, 32) -image et appliquer une (32, 5, 5) -filter comme dans question sur le biais de réseaux convolutifs

Nombre total de poids dans le noyau de la couche est égale à trivialement 3x5x5x32 $ $ . Maintenant, nous comptons biais. Le lien ci-dessus stipule que le nombre total de biais est 1x32 $ $ , ce qui est logique parce que les poids sont partagés entre toutes les cellules de sortie, il est donc naturel d'avoir un seul parti pris pour chaque carte de fonction de sortie dans son ensemble.

Mais de l'autre côté: nous appliquons la fonction d'activation à chaque cellule de carte de fonction de sortie séparément, donc si nous aurons différent biais pour chaque cellule, ils ne totalisent pas ensemble, de sorte que le nombre < span class = "math-conteneur"> 0x0x32 $ $ au lieu de $ 1x32 $ sens trop (ici 0 est la hauteur ou la largeur caractéristique de sortie carte) .

Comme je peux voir, la première approche est largement utilisée, mais je l'ai vu aussi la deuxième approche dans certains journaux.

( 3x5x5 $ + 1) x32 $ ou $ (3x5x5 + 0x0) x32 $ ?

Était-ce utile?

La solution

Comme vous le dites, les deux approches sont utilisées. Il est appelé biais liés si vous utilisez un biais par filtre convolutionnel / kernel ((3x5x5 + 1) x32 paramètres globaux dans votre exemple) et biais non liés si vous utilisez un biais par noyau et emplacement de sortie ((3x5x5 + OxO) x32 paramètres globaux dans votre exemple).

biais Untied augmentent la capacité de votre modèle, de sorte qu'ils peuvent être une bonne idée si vous underfitting. Mais dans ce cas, en utilisant les préjugés liés et de plus de filtres et / ou des couches peut aussi aider, voir https://harmdevries89.wordpress.com/2015/03/27/tied-biases-vs-untied-biases/ .

Autres conseils

Quand j'ai essayé de sortie mes poids CNN de Theano de grapgh, je suis un vecteur de polarisation pour chaque couche.

Licencié sous: CC-BY-SA avec attribution
scroll top