End to end testing raccomandazioni quadro

Question

Sono in un nuovo progetto che sta cercando di includere un end to end testing framework. Vogliamo qualcosa flessibili, ho usato Fitnesse prima e penso che abbiamo bisogno di qualcosa di simile ad esso.

Inoltre stiamo usando Hudson CI e sono alla ricerca di qualcosa che potesse integrarsi facilmente con esso.

C'è un chiaro vincitore?

Aggiornamento: Il sistema ha molti componenti, alcuni dei quali sono i servizi web in esecuzione su Tomcat, ci sono un paio di NoSQL database troppo, ma non è richiesto alcun test dell'interfaccia utente per il momento

.

Si prega di aggiungere un commento se siano necessari ulteriori chiarimenti sui dettagli del progetto.

Answer 1

Il quadro robot è una buona parola chiave guidato framework di test che usiamo per la fine di test di integrazione finale. http://code.google.com/p/robotframework/

C'è un plug-in per Jenkins (un fork di Hudson) che è molto utile. Esso opere riferito con Hudson pure.

Answer 2

Gran leggere che avete deciso di inizio utilizzando robot Framework. La sua Hudson plugin di già ha recentemente ottenuto molto meglio (tabelle di tendenza, disponibili da Hudson direttamente, ...) e si è trasferito al nuovo posto: http://wiki.hudson-ci.org/display/HUDSON/Robot + quadro + Plugin

Answer 3

Si può essere più specifico, quando si dice, si vuole avere un framework di test end-to-end? Che tipo di applicazione stai sviluppando (autonomo, basato su web, web service, ...)? Che lingua programma?

Vorrei anche cercare conoscenze nella vostra squadra o intorno alla vostra squadra (ad esempio altre squadre). Potrebbe essere sufficiente, per usare TestNG o JUnit (ho visto un vecchio documento sulla UI test con JUnit). Quasi tutti i quadri di prova dovrebbe andare bene per Hudson, fintanto che possono essere avviati in modalità headless / script e se prevedono i risultati in un formato che Hudson capisce (nel peggiore dei casi HTML è sufficente, anche se Hudson sarà solo in grado per visualizzare le pagine). Quindi, se avete IBM strumenti di monitoraggio a disposizione, si potrebbe desiderare di guardare Rational Functional Tester o Rational Performance Tester.

FitNesse è uno strumento buono per i test funzionali. I contatti commerciali possono creare casi di test da themselfs (gli sviluppatori devono fornire qualche codice connettore), che creerà maggiore visibilità e rimuove alcuni lavori dai tecnici di prova. Svantaggio è che non si può davvero fare test dell'interfaccia utente. Se hai bisogno di una Piattaforma open source per l'interfaccia utente, dare un'occhiata alla cucitura. Anche se mi piace il philosophi OSS, potrebbe essere necessario più tempo rampa (maggiori costi) ed eventualmente più tempo maintainace per OSS (non è vero per tutti i sistemi operativi). In ogni caso, verificare come sia facile ottenere il supporto per il vostro quadro. Si potrebbe anche considerare pagato il supporto per il framework (a prescindere se aperto o chiuso source). Inoltre, non dimenticare, anche se è possibile risolvere OSS fonte te stesso, si potrebbe non avere le competenze o il tempo per correggere i bug o l'aggiunta di funzionalità.

Così ci dà più informazioni e siamo in grado di darvi consigli migliori.

Answer 4

La mia esperienza con jBehave è molto buona. Consiglia.

Si basa su BDD -. Behavior Driven Development