Combiner plusieurs réseaux de neurones avec différentes fonctions d'activation

Question

J'ai 3 réseaux de neurones où chacun a une fonction d'activation différente: Sigmoïde, Tanh et Softmax. Je prévois de moyenne leurs prédictions finales, mais comme nous le savons, les fonctions n'ont pas les mêmes valeurs de plage.

P = (P1 + P2 + P3)/3 

Où 0 < P1 < 1, -1 < P2 < 1, 0 < P3 < 1

Puis-je directement en moyenne les prédictions ou j'ai besoin d'effectuer une normalisation pour que toutes les prédictions tombent dans le même intervalle?