Early-Arresto per la regressione logistica. Theano

Question

Sto cercando di capire il codice per la regressione logistica sulla documentazione ufficiale, ma sto lottando per capire la logica alla base di questo codice:

# early-stopping parameters
patience = 5000  # look as this many examples regardless
patience_increase = 2     # wait this much longer when a new best is
                              # found
improvement_threshold = 0.995  # a relative improvement of this much is
                               # considered significant
validation_frequency = min(n_train_batches, patience/2)
                              # go through this many
                              # minibatches before checking the network
                              # on the validation set; in this case we
                              # check every epoch

best_params = None
best_validation_loss = numpy.inf
test_score = 0.
start_time = time.clock()

done_looping = False
epoch = 0
while (epoch < n_epochs) and (not done_looping):
    # Report "1" for first epoch, "n_epochs" for last epoch
    epoch = epoch + 1
    for minibatch_index in xrange(n_train_batches):

        d_loss_wrt_params = ... # compute gradient
        params -= learning_rate * d_loss_wrt_params # gradient descent

        # iteration number. We want it to start at 0.
        iter = (epoch - 1) * n_train_batches + minibatch_index
        # note that if we do `iter % validation_frequency` it will be
        # true for iter = 0 which we do not want. We want it true for
        # iter = validation_frequency - 1.
        if (iter + 1) % validation_frequency == 0:

            this_validation_loss = ... # compute zero-one loss on validation set

            if this_validation_loss < best_validation_loss:

                # improve patience if loss improvement is good enough
                if this_validation_loss < best_validation_loss * improvement_threshold:

                    patience = max(patience, iter * patience_increase)
                best_params = copy.deepcopy(params)
                best_validation_loss = this_validation_loss

        if patience <= iter:
            done_looping = True
            break

Potrebbe qualcuno, spiegare a me, che cosa le variabili:? La pazienza, patience_increase, improvement_threshold, validation_frequency, iter, rappresentano

Che questa condizione fare?

if (iter + 1) % validation_frequency == 0:

Answer 1

Patience è il numero di formazione lotti di fare prima di smettere. iter è il numero di lotti di formazione che hai visto. Ogni iterazione, si decide se il vostro convalida è inferiore al precedente migliore. Il miglioramento viene memorizzato solo se il punteggio è inferiore improvement_threshold * validation_score.

Sembra che patience_increase è un moltiplicatore. Ogni volta che si dispone di un nuovo punteggio più basso, è il numero o totali di formazione lotti a iter*patience_increase, ma non al di sotto del valore corrente di patience.

validation_frequency è solo il numero di lotti tra i tempi di controllare il punteggio di convalida.