Dashboard per progetti di trasformazione di collaborazione scientifica / dati

Question

server di integrazione continua come Hudson sono piuttosto sorprendente, oltre allo sviluppo del software. Io lavoro in un laboratorio di ricerca accademica, e mi piacerebbe applicare principi simili all'analisi dei dati scientifici. Voglio una vista dashboard-simili, di cui raccolte di dati vanno bene, quelli che stanno fallendo i loro test (script di shell semplici, per lo più), e così via. Un po 'come il cromo cruscotto (ATTENZIONE: la pagina richiede molto tempo a caricarsi).

Ci vogliono lavorare da almeno 4 persone, e forse 10 o 12 ore di tempo al computer, per portare i nostri dati (da studi comportamentali) dalla sua forma grezza alla sua forma finale, facilmente analizzati. Ho provato Hudson e buildbot, ma nessuno dei due è davvero appropriato per il nostro flusso di lavoro. Vogliamo solo per eseguire una serie di test su forse cinquanta collezioni indipendenti di persona, e visualizzare i risultati piacevolmente.

SO! Qualcuno ha una raccomandazione di un modo per generare questo tipo di rapporto con facilità? In alternativa, si può pensare ad un buon modo per calzascarpe questo tipo di flusso di lavoro in un server di integrazione continua? In alternativa, si può consigliare un test cruscotto unità che potrebbero fare con i test che sono piccoli script di shell piuttosto che piccole funzioni?

Grazie!

Answer 1

sto cercando di indovinare le modifiche dei dati su base giornaliera, e quindi si consiglia di eseguire gli stessi test su nuovi lotti di dati su base ly.

Buildbot può eseguire test che sono script di shell. Avrete solo bisogno di scrivere un po 'di Python per estendere Buildbot per farlo accadere. Detto questo, se non si desidera utilizzare o Buildbot Hudson e semplicemente desidera eseguire il test ogni 24 ore o giù di lì, è possibile installare i propri script come cron posti di lavoro o di scrivere uno script master che verrà eseguito tutti i test e l'installazione che come un job cron. Dato che è molto probabile intenzione di avere a scrivere qualcosa che genererà i risultati del test in HTML, se si desidera una sorta di cruscotto in ogni caso, avere lo script padrone generare quella e hanno apache o twistd o qualcosa servire in su.

In caso contrario, io sono a conoscenza di sistemi CI che farà cose molto diverso rispetto Buildbot o Hudson.

Answer 2

https://my.infocaptor.com

Si potrebbe funzionare per le vostre esigenze. Si potrebbe aggregare le informazioni su google foglio di calcolo, li pre-riassumere in proprio db o direttamente accedervi

Come esempio dal vivo abbiamo apertamente tracciamo le nostre metriche sulla pagina cruscotto anteriore. Questo dashboard raccoglie le informazioni dal database mysql SAAS ed è in tempo reale.

Ci sono molte schede pre-costruiti e per esigenze personalizzate, si potrebbe scrivere uno script sul vostro server web e poi interfacciarsi con InfoCaptor utilizzando HTTP POST http://infocaptor.com/help/http_post.htm