Ensemble de formation généré sur ConvNet

Question

J'ai un ensemble de données avec environ 800 images qui sont classées en 18 classes.
Les classes sont réparties de manière inégale, avec certaines classes ayant 30 images et d'autres en ayant 5.

Afin d'augmenter mon ensemble de données, j'ai décidé d'utiliser une augmentation de l'image modifiant un peu chaque image, ce qui fait 20 nouvelles images pour chaque image.

J'ai ensuite décidé d'utiliser mes images créées comme ensemble de formation et mes images originales comme ensemble de validation.

En raison de l'indisponibilité d'un GPU, je n'ai pas pu le former beaucoup, mais je me suis retrouvé avec un taux de réussite d'environ 50% sur un ensemble de formation et 30% sur l'ensemble de validation.

La décision d'utiliser uniquement mon ensemble de données d'origine comme validation était-elle bonne? Sinon, pourquoi?