Quali sono le caratteristiche per un buon software di generazione di report per i risultati di benchmarking del software di reporting e monitoraggio?

Question

Questa è una domanda di derivazione da questa Rispondere a un precedente domanda, dove http://speed.pypy.org è evidenziato come esempio con una buona presentazione.

(Tuttavia, mi sembra che il progetto non separa i componenti di esecuzione/monitoraggio/generazione di report/web-service, il che rende più difficile per le altre persone adottare.)

Sono interessato sia ai requisiti funzionali che all'interfaccia utente di tale software. Spero di poter scegliere uno esistente in base ai criteri in modo da poterlo usare nel mio progetto.

In questo momento, l'unica cosa a cui riesco a pensare è che l'interfaccia utente di esecuzione dovrebbe essere simile a un imbracatura di test unitaria, ma l'interfaccia utente di reporting dovrebbe essere totalmente diversa dalla famiglia di software XUNIT. Le pagine Web sembrano essere un modo migliore per navigare attraverso i risultati.

E, insieme ad alcune idee minori:

• Dovrebbe esserci un componente di tracciamento per tenere traccia delle variazioni delle prestazioni a tutti i livelli
• Tuttavia, il livello di presentazione dovrebbe evidenziare solo cambiamenti di prestazioni "pertinenti", ovvero le prestazioni diminuiscono in aree importanti che sono abbastanza gravi da richiedere l'attenzione degli sviluppatori.

Sono anche interessato a se uno qualsiasi dei consigli Edward Tufte può essere applicato qui.