Wie Tests zu automatisieren, wo die Qualität der Ergebnisse weitgehend subjektiv

Question

Ich habe eine Automatisierung und Statistik-Generierungs-Programm durch eine Reihe von schnellen Prototypen wurde entwickelt, um zu sehen, ob die Lizenzkosten einen API einen guten Return on Investment erzeugt. Der begrenzte Zeitrahmen, und meine eigene begrenzte Erfahrung hat zu einem nützlichen Werkzeug ohne automatische Qualität und Richtigkeit Tests und Metriken.

Das Programm befasst sich mit der Lokalisierungsprozess für PDF-Dokumente. Genauer gesagt, es auf einen Teil des Inhalts der Dateien einen Bericht erzeugt (ca.. Wortzählimpuls, Bildzählwert etc.) und hat einige Inhaltsextraktion und Verarbeitungsmerkmale. Es wird hauptsächlich verwendet, um die Zeit und Kosten für die Bewertung der Kosten eines PDF-Lokalisierungsprojekt zu reduzieren.

Die Anwendung wurde jetzt für eine formelle Entwicklungsprozess genehmigt, die einen Antrag für ein Bug-Tracking-System und einen Vorversuch, Release- und Feedback-Zyklus.

Die Frage ist also, wie würden Sie über QA und Test in dieser Art von Anwendung zu gehen, wo die Zahlen sind oft eine beste Schätzung basierend auf einigen heuristischen und dem verarbeiteten Ausgang ist nicht immer sinnvoll, aufgrund der schrecklichen Konstruktion der Quelle Unterlagen? Ich plane, Warnungen zu dem Bericht hinzufügen, wenn die Zahlen offensichtlich verrückt sind, aber was können sonst zu garantieren Qualität zu tun?

Bisher ist die anspruchsvollste Lösung, die ich habe, ist die Ergebnisse einiger Hilfsmethoden durch Behauptung Tests in der Build-Umgebung zu gewährleisten und eine Reihe von traditionellen Benutzertestfällen zu schreiben (was ich lieber vermeiden).

Wie testen Sie für subjektive Qualitätsmaßnahmen?

Ich arbeite in C #, aber ich bevorzuge eine allgemeine Best Practices über allem beantworten zu Rahmen spezifisch.

Answer 1

Ich bin nicht sicher genau das, was du bist Anwendung tut, aber die allgemeine Frage zu beantworten: Erstellen Sie eine Sammlung von Testfällen, die Ihre Auswahl an Eingängen darstellen und sehen, ob es richtig diejenigen beurteilen. Sie können wirklich nicht umgehen tatsächliche Eingabedokumente zu testen.

Und dann gibt es einen Punkt, an dem Sie annehmen müssen werden, dass es eine Grenze, was mit automatisierten Tests erreicht werden. Wenn die Dinge wirklich subjektive Ästhetik oder Usability bekommen, zum Beispiel) Sie gehen eine tatsächliche menschliche brauchen eine nützliche Beurteilung zu erhalten.

Ich wünsche, ich könnte eine hilfreiche Antwort geben.

Answer 2

Versuchen Sie Zulassungstests .