Quand ne normaliserait pas les valeurs d'entrée a-t-elle une précision plus élevée?

Question

En ce moment, je forment un réseau de neurones profond pour un problème de classification binaire, avec un ensemble de fonctionnalités de victoires. En tant que tel, chaque rémunération est plus grande ou égale à 0 mais inférieure à 100.

J'ai obtenu des résultats prometteurs sans normaliser les données d'entrée, jusqu'à ce que je les normalise et que je prenne une précision terriblement pire.

La fonction d'entrée est une matrice 2D de taille 20, et le réseau a quatre couches avec des nombres différents de nœuds dans chaque couche. J'utilise SGD Optimizer et l'activation RELU pour les couches cachées et la fonction d'activation Softmax pour la couche de sortie.

Ce que je me demande, c'est pourquoi j'obtiens de meilleurs résultats avec le réseau neuronal sans la normalisation? Est-ce parce que les hyperparamètres optimaux requis pour le réseau avec l'entrée normalisée sont différents du moment où il n'est pas normalisé?