Perché è male usare più e più volte lo stesso set di dati di test?
-
31-10-2019 - |
Domanda
Sto seguendo questa serie di Google: Corso di crash di apprendimento automatico.
Sul Capitolo sulla generalizzazione, fanno la seguente dichiarazione:
Buone prestazioni sul set di test sono un utile indicatore di buone prestazioni sui nuovi dati in generale, supponendo che:
- Il set di test è abbastanza grande.
- Non imbrogliare usando lo stesso test impostato più e più volte.
Perché esattamente il secondo punto è cattivo? Finché non si utilizza il set di test per la fase di allenamento, perché è male continuare a utilizzare lo stesso set di test per testare le prestazioni di un modello? Non è come se il modello otterrà un pregiudizio (il set di test è non Aggiornamento di uno qualsiasi dei parametri del modello internamente).
Nessuna soluzione corretta