Warum die Anzahl der Neuronen oder Konvolutionen, die gleiche Kräfte von zwei gewählt haben?

Question

In der überwältigenden Anzahl von Werken, die den neuronalen Netzwerken gewidmet sind, schlagen die Autoren Arhitechure vor, in der jede Schicht eine Anzahl von Neuronen ist, die Kraft von 2 ist

Was sind die theoretischen Gründe (Voraussetzung) für diese Wahl?

Answer 1

Tiefe neuronale Netze werden normalerweise in GPUs geschult, um die Trainingszeit zu beschleunigen. Die Verwendung von zwei zwei für die Netzwerktopologie folgt der gleichen Logik wie die Verwendung von zwei für Bildtexturen in Computerspielen.

Die GPU kann die Optimierungen im Zusammenhang mit Effizienz bei der Arbeit mit zwei Kräften nutzen. (sehen https://gaMedev.stackexchange.com/questions/26187/why-are-textures-always-square-powers-of-two-what-if-they-arent)

Answer 2

Es ist nur eine willkürliche Wahl. Sie müssen eine Nummer und die Größenordnung auswählen, aber nicht den genauen Wert. Kräfte von zwei fühlen sich einfach natürlich.

Wenn Sie dies nicht glauben: Bewerten Sie es auf einer bestimmten Architektur. Senken Sie die Anzahl der Neuronen von einer Leistung von zwei auf eine kleinere Anzahl. Wenn die Zeit zunimmt, haben Sie mir das Gegenteil bewiesen.