¿Marco de prueba para pruebas funcionales / de sistema para C / C ++?

Question

Para C ++, hay muchos marcos de prueba de unidad buenos, pero no pude encontrar uno bueno para pruebas funcionales . Con las pruebas funcionales, me refiero a cosas que tocan el disco, requieren que toda la aplicación esté en su lugar, etc.

Punto en el caso: ¿Qué marco ayuda a probar cosas como si su E / S funciona? Tengo un sistema enrollado a mano, que crea carpetas temporales, copia alrededor de un montón de datos, por lo que las pruebas siempre se realizan en el mismo entorno, pero antes de pasar más tiempo en mi marco personalizado, ¿hay un bueno ya por ahí?

Answer 1

Ya escribí uno desde cero tres veces, dos veces para probar aplicaciones C ++ que hablaban con intercambios usando el protocolo FIX, una vez para una aplicación GUI.

El problema es que debe emular el mundo exterior para realizar las pruebas adecuadas del sistema. No me refiero a "fuera de su código" - fuera de su aplicación. Esto implica emular a los usuarios finales, entidades externas, Internet, etc.

Usualmente uso perl para escribir mi marco de prueba y pruebas de sistema, principalmente porque es bueno para acceder a todo tipo de instalaciones del sistema operativo y las expresiones regulares son ciudadanos de primera clase.

Algunos consejos: asegúrese de que sus registros sean fáciles de analizar, detallados pero no demasiado detallados. Tener una configuración predeterminada sensata. Haga que sea fácil "restablecer" la aplicación: debe hacerlo después de cada prueba.

El enfoque que suelo usar es tener algún tipo de "adaptador" eso convierte las comunicaciones de la aplicación con el mundo exterior en stdin / stdout de algún ejecutable. Luego construyo un marco perl además de eso, y luego los casos de prueba usan el marco.

Answer 2

A continuación enumero un par de herramientas y aplicaciones de prueba más grandes que conozco. Si proporciona más información sobre su plataforma (SO, etc.), probablemente podamos brindarle mejores respuestas.

Para parte de lo que necesita, Microsoft proporciona el Verificador de aplicación :

  

Application Verifier (AppVerifier) ??es una herramienta de verificación de tiempo de ejecución utilizada para probar aplicaciones para compatibilidad con Microsoft Windows XP. Esta herramienta se puede utilizar para probar una amplia variedad de problemas de compatibilidad conocidos mientras se ejecuta la aplicación. Este artículo detalla los pasos para usar AppVerifier como una adición efectiva al desarrollo de la aplicación y los ciclos de prueba.

Application Verifier puede ser útil para probar condiciones de poca memoria, otros recursos bajos y otro uso de API.

Otra parte del rompecabezas es el paquete Microsoft Detours, que puede usarse para reemplazar las llamadas API con su propio código (útil, por ejemplo, devolver códigos de error para pruebas que son difíciles de configurar).

  

Detours es una biblioteca para instrumentar funciones arbitrarias de Win32 en máquinas x86, x64 e IA64. Detours intercepta las funciones de Win32 reescribiendo el código en memoria para las funciones de destino. El paquete Detours también contiene utilidades para adjuntar archivos DLL arbitrarios y segmentos de datos (llamados cargas útiles) a cualquier binario Win32.

Hay otros paquetes completos más grandes (y más caros) disponibles también. Borland fabrica Seda .
El software automatizado hace TestComplete . La selección de una de estas herramientas dependerá de sus necesidades para sus aplicaciones.
IBM / Rational proporciona el Rational Functional Tester , que está disponible en muchas plataformas y muchas funciones.

Answer 3

Hola, no estoy seguro de si el marco que tenemos ayuda en su situación, pero se engancha en Rational Functional Tester y permite al usuario crear varios conjuntos de datos para adjuntarlos a diferentes pruebas y cambiar el entorno sin cambiar la secuencia de comandos y reutilizar el automatización de manera eficiente. Echa un vistazo si estás interesado: http://www.testpro.com.au/Test-Automation-Framework.html