Meilleure fonction d'activation pour l'ensemble?

Question

J'ai créé un modèle de régression logistique (prétraitement différent) avec la fonction Softmax. Et je mélange tout le modèle avec un ensemble avec une méthode hiérarchique. La sortie de tous les modèles (base) sera donc utilisée comme entrée pour le modèle final (régression logistique également).

Le modèle de base par défaut a utilisé une fonction softmax. Je pense que la transformation d'une valeur confiante en probabilité perdra beaucoup d'informations. J'ai donc un plan pour changer le softmax en fonction d'activation.

Ce que j'apprends dans ma classe CNN, RELU est la meilleure fonction d'activation par défaut pour une image. Mais mon cas est un e-mail de classification multi-classes.

Quelle fonction d'activation dois-je choisir? Relu, sigmoïde ou autre?

Merci