Metodo di base per ottimizzare iperparametri

Question

Di recente ho letto il post sul blog Lipo sul blog DLIB:http://blog.dlib.net/2017/12/a-global-optimization-algorithm-worth.html

Cita che può essere utilizzato per ottimizzare iperparametri di algoritmiti metaheuristici, ad es. Algoritmi simulati o algoritmi genetici.

Ho cercato informazioni su come l'ottimizzazione dell'iperparametri funzionano in generale e la pagina Wikipedia è la più informativa che ho trovato ma non risponde alle mie domande di base:https://en.m.wikipedia.org/wiki/hyperparameter_optimization

La mia domanda è solo: qual è l'idea di base per ottimizzare iperparametri?

Se ho qualche problema, sto cercando di risolvere con la ricottura simulata, so che la temperatura di partenza e il tasso di recupero sono importanti nel determinare quanto bene l'algoritmo fa per trovare una soluzione.

So che potrei eseguire completamente l'algoritmo con un set di parametri, modificare uno dei parametri, eseguirlo completamente, quindi ripristinare i parametri e modificare l'altro parametro ed eseguirlo di nuovo. Questo potrebbe darmi un gradiente numerico che potrei usare per modificare i parametri tramite la discesa del gradiente.

Tuttavia ... a questo punto ho dovuto eseguire l'intero algoritmo 3 volte solo per ottenere una singola modifica degli iperparametri.

Sento che dovevo perdere qualcosa di ovvio perché l'ottimizzazione degli iperparametri richiederebbe molte centinaia o migliaia di volte o più il costo della gestione del tutto, il che non sembra affatto utile. Qualcuno può indossarmi?