Perché è male usare più e più volte lo stesso set di dati di test?

Question

Sto seguendo questa serie di Google: Corso di crash di apprendimento automatico.

Sul Capitolo sulla generalizzazione, fanno la seguente dichiarazione:

Buone prestazioni sul set di test sono un utile indicatore di buone prestazioni sui nuovi dati in generale, supponendo che:

- Il set di test è abbastanza grande.

- Non imbrogliare usando lo stesso test impostato più e più volte.

Perché esattamente il secondo punto è cattivo? Finché non si utilizza il set di test per la fase di allenamento, perché è male continuare a utilizzare lo stesso set di test per testare le prestazioni di un modello? Non è come se il modello otterrà un pregiudizio (il set di test è non Aggiornamento di uno qualsiasi dei parametri del modello internamente).