Tableau de bord des projets de traitement scientifique collaborative / données

Question

serveurs d'intégration continue comme Hudson sont un ajout assez incroyable au développement de logiciels. Je travaille dans un laboratoire de recherche universitaire, et j'aimerais appliquer des principes similaires à l'analyse des données scientifiques. Je veux une vue comme tableau de bord dont les collections de données sont très bien, ceux qui ne parviennent pas leurs tests (scripts shell simples, la plupart du temps), et ainsi de suite. Un peu comme le chrome tableau de bord (ATTENTION: la page prend beaucoup de temps à charger).

Il faut travailler à partir d'au moins 4 personnes, et peut-être 10 ou 12 heures de temps d'ordinateur, d'apporter nos données (des études comportementales) de sa forme brute à sa dernière forme facilement analysé. J'ai essayé d'Hudson et buildbot, mais ni est vraiment approprié à notre flux de travail. Nous voulons juste courir un tas de tests sur peut-être cinquante collections de données indépendantes de sujet, et afficher les résultats bien.

! Quelqu'un at-il une recommandation d'un moyen de générer ce genre de rapport facilement? Ou, pouvez-vous penser à une bonne façon de caser ce genre de flux de travail dans un serveur d'intégration continue? Ou, pouvez-vous recommander un tableau de bord de tests unitaires qui pourraient faire face à des tests qui sont de petits scripts shell plutôt que de petites fonctions?

Merci!

Answer 1

Je suppose que vos modifications de données sur une base quotidienne, et donc vous voulez exécuter les mêmes tests sur de nouveaux lots de données sur une base ly.

Buildbot peut exécuter des tests qui sont des scripts shell. Vous aurez juste besoin d'écrire un peu de Python pour étendre Buildbot pour y arriver. Cela étant dit, si vous ne voulez pas utiliser Buildbot ou Hudson et que vous voulez simplement d'exécuter vos tests toutes les 24 heures, vous pouvez installer vos scripts comme tâches cron ou écrire un script maître qui va exécuter tous vos tests et installer que comme une tâche cron. Étant donné que vous allez probablement avoir à écrire quelque chose qui va générer les résultats de votre test en HTML si vous voulez une sorte de tableau de bord de toute façon, avoir générer votre script maître qui et qu'Apache ou twistd ou quelque chose servir vers le haut.

Dans le cas contraire, je ne suis pas au courant des systèmes de CI qui fera les choses bien différemment que Buildbot ou Hudson.

Answer 2

https://my.infocaptor.com

Il peut travailler pour vos besoins. Vous pouvez agréger des informations sur feuille de calcul Google, les pré-résumé dans votre propre db ou y accéder directement

A titre d'exemple nous suivons en direct ouvertement nos propres mesures sur le tableau de bord de page. Ce tableau de bord recueille des informations de la base de données MySQL et SAAS est en temps réel.

Il y a beaucoup d'adaptateurs pré-construits et pour les besoins personnalisés, vous pouvez écrire un script sur votre serveur Web et l'interface, puis avec l'aide InfoCaptor HTTP POST http://infocaptor.com/help/http_post.htm