Combinando più reti neurali con diverse funzioni di attivazione

Question

Ho 3 reti neurali in cui ciascuno ha come diversa funzione di attivazione: sigmoide, tanh e softmax. Sto programmando di condurre le loro previsioni finali, ma come sappiamo che le funzioni non hanno gli stessi valori di intervallo.

P = (P1 + P2 + P3)/3 

Dove 0 < P1 < 1, -1 < P2 < 1, 0 < P3 < 1

Posso dire direttamente in media le previsioni o devo eseguire una normalizzazione per avere tutte le previsioni che rientrano nello stesso intervallo?