Comment automatiser les tests où la qualité des résultats est largement subjective

Question

J'évoluons un programme de génération d'automatisation et de statistiques à travers une série de prototypes rapides pour voir si le coût de la licence d'une API génère un bon retour sur investissement. Le laps de temps limité, et ma propre expérience limitée a conduit à un outil utile sans que des tests de qualité ou l'exactitude automatisés et des mesures.

Le programme traite du processus de localisation des documents PDF. Plus précisément, il génère un rapport sur une partie du contenu des fichiers (env. Le nombre de mots, l'image compte, etc.) et l'extraction de contenu et des fonctions de traitement. Il est principalement utilisé pour réduire le temps et le coût de l'évaluation du coût d'un projet de localisation PDF.

La demande a été maintenant approuvé pour un processus de développement plus formel, y compris une demande d'un système de suivi des bogues et un test préliminaire, la libération et le cycle de rétroaction.

La question est donc comment en raison de la construction horrible de la source que vous aller sur l'assurance qualité et les tests dans ce type d'application, où les chiffres sont souvent une meilleure estimation basée sur une heuristique et la sortie traitée est pas toujours utile documents? Je prévois d'ajouter des avertissements au rapport lorsque les chiffres sont évidemment fou, mais ce qui peut être fait d'autre pour garantir la qualité?

Jusqu'à présent, la solution la plus sophistiquée j'est de garantir les résultats de certaines méthodes d'aide au moyen de tests d'assertion dans l'environnement de compilation et d'écrire un tas de tests traditionnels utilisateur (que je préfère éviter).

Comment tester des mesures de qualité subjectives?

Je travaille en C #, mais je préfère une des meilleures pratiques générales répondent sur quoi que ce soit trop cadre spécifique.

Answer 1

Je ne sais pas exactement ce que vous êtes en train de faire application, mais pour répondre à la question générale: Construire une collection de cas de test qui représentent votre gamme d'entrées et de voir si elle peut juger correctement ceux-ci. Vous ne pouvez pas vraiment tester autour de documents d'entrée réels.

Et puis, il y a un point où vous devez accepter qu'il ya une limite à ce qui peut être accompli avec les tests automatisés. Quand les choses deviennent vraiment esthétique et l'utilisation subjectives, par exemple), vous allez avoir besoin d'un humain réel pour obtenir un jugement utile.

Je voudrais pouvoir donner une réponse plus utile.

Answer 2

Tests d'approbation .