Cómo automatizar las pruebas en que la calidad de los resultados es en gran medida subjetiva

Question

He ido evolucionando un programa de generación de automatización y estadísticas a través de una serie de prototipos rápidos para ver si el costo de la licencia de una API genera un buen retorno de la inversión. El marco de tiempo limitado, y mi propia experiencia limitada ha dado lugar a una herramienta útil sin calidad o exactitud pruebas y mediciones automatizadas.

El programa se ocupa del proceso de localización de los documentos PDF. En concreto, se genera un informe sobre algunos de los contenidos de los archivos (aprox. Contar palabras, la imagen contar etc) y tiene algunas características de extracción y procesamiento de contenido. Se utiliza principalmente para reducir el tiempo y costo de evaluar el coste de un proyecto de localización PDF.

La aplicación ha sido ahora aprobado para un proceso de desarrollo más formal, que incluye una solicitud de un sistema de seguimiento de errores y una prueba preliminar, la liberación y el ciclo de retroalimentación.

La pregunta, entonces, es cómo usted va sobre control de calidad y pruebas en este tipo de aplicación, donde los números son a menudo una mejor conjetura basada en alguna heurística y la salida procesada es no siempre son útiles debido a la construcción horrible de la fuente ¿documentos? Tengo la intención de añadir advertencias al informe cuando los números son obviamente una locura, pero ¿qué otra cosa se puede hacer para garantizar la calidad?

Hasta el momento la solución más sofisticada que tengo es para garantizar los resultados de algunos métodos de ayuda a través de pruebas aserción en el entorno de construcción y escribir un montón de casos de prueba de usuario tradicionales (que yo preferiría evitar).

¿Cómo se prueba para medidas de calidad subjetivos?

Estoy trabajando en C #, pero estoy a favor de un general sobre las mejores prácticas responden nada demasiado marco específico.

Answer 1

No estoy seguro exactamente lo que estás aplicación está haciendo, pero para responder a la pregunta general: Construir una colección de casos de prueba que representan el rango de entradas y ver si se puede juzgar correctamente los. Realmente no se puede conseguir alrededor de probar los documentos de entrada reales.

Y luego, hay un punto en el que tendrá que aceptar que hay un límite a lo que puede lograrse con las pruebas automatizadas. Cuando las cosas se ponen estética muy subjetivos o facilidad de uso, por ejemplo) que vas a necesitar un ser humano real para obtener una sentencia de utilidad.

Me gustaría poder dar una respuesta más útil.

Answer 2

Trate ensayos de homologación .