Méthode de base pour optimiser les hyperparamètres

Question

J'ai récemment lu le blog Lipo sur le blog DLIB:http://blog.dlib.net/2017/12/a-bolbal-optimisation-algorithm-worth.html

Il mentionne qu'il peut être utilisé pour optimiser les hyperparamètres d'algorithmes métaheuristiques EG.

J'ai cherché des informations sur la façon dont l'optimisation des hyperparamètres fonctionne en général et la page Wikipedia est la plus informative que j'ai trouvée, mais elle ne répond pas à mes questions de base:https://en.m.wikipedia.org/wiki/hyperparameter_optimisation

Ma question est juste: quelle est l'idée de base pour optimiser les hyperparamètres?

Si j'ai un problème que j'essaie de résoudre avec un recuit simulé, je sais que la température de départ et le taux de recharge sont importants pour déterminer dans quelle mesure l'algorithme pour trouver une solution.

Je sais que je pourrais complètement exécuter l'algorithme avec un ensemble de paramètres, modifier l'un des paramètres, l'exécuter complètement, puis réinitialiser les paramètres et modifier l'autre paramètre et l'exécuter à nouveau. Cela pourrait me donner un gradient numérique que je pourrais utiliser pour modifier les paramètres via une descente de gradient.

Cependant ... à ce stade, j'ai dû exécuter tout l'algorithme 3 fois juste pour obtenir une seule modification des hyperparamètres.

J'ai l'impression que je dois manquer quelque chose d'évident parce que l'optimisation des hyperparamètres prendrait plusieurs centaines ou des milliers de fois ou plus le coût de la gestion de la chose une fois, ce qui ne semble pas du tout utile. Quelqu'un peut-il m'indiquer?