Dashboard für die gemeinsame Wissenschaft / Datenverarbeitung Projekte

Question

Continuous Integration Server wie Hudson sind eine ziemlich erstaunliche Neben Software-Entwicklung. Ich arbeite in einem akademischen Forschungslabor, und ich würde gerne ähnliche Prinzipien für die wissenschaftliche Datenanalyse anzuwenden. Ich mag eine Armaturenbrett-Ansicht, wie die Sammlungen von Daten in Ordnung sind, welche sind ihre Tests fehlschlagen (einfache Shell-Skripten, meistens), und so weiter. Eine Menge, wie die Chromium Armaturenbrett (ACHTUNG: Seite dauert eine lange Zeit zu laden).

Es dauert Arbeit von mindestens 4 Personen, und vielleicht 10 oder 12 Stunden Rechenzeit, um unsere Daten zu bringen (von Verhaltensstudien) von seiner rohen Form in seine endgültigen, leicht analysiert Form. Ich habe versucht, Hudson und buildbot, aber weder wirklich in unseren Workflow angemessen ist. Wir wollen nur ein paar Tests auf vielleicht fünfzig unabhängige Sammlungen von Subjektdaten laufen, und schön die Ergebnisse angezeigt werden.

SO! Hat jemand eine Empfehlung eine Art und Weise, diese Art von Bericht leicht zu generieren? Oder denken können Sie einen Weg, um diese Art von Workflow in eine kontinuierliche Integration Server Schuhanzieher? Oder können Sie einen Unit-Tests Armaturenbrett empfehlen, die mit Tests umgehen konnten, die wenig Shell-Skripte, anstatt kleine Funktionen sind?

Danke!

Answer 1

Ich vermute, die Datenänderungen auf einer täglichen Basis, und damit wollen Sie die gleichen Tests mit neuen Chargen von Daten auf einer -ly Basis ausgeführt werden.

Buildbot können Tests durchführen, die Shell-Skripte sind. Sie brauchen nur ein bisschen Python zu schreiben Buildbot zu erweitern, um sie geschehen. That being said, wenn Sie Buildbot oder Hudson nicht verwenden wollen, und Sie wollen einfach Ihre Tests alle 24 Stunden laufen oder so, können Sie Ihre Skripte als Cronjobs installieren oder ein Master-Skript schreiben, das alle Ihre Tests laufen und installieren , die als cron-Job. Da Sie wahrscheinlich etwas schreiben müssen gehen, die die Ergebnisse Ihres Tests in HTML generieren, wenn Sie irgendeine Art von Armaturenbrett wollen sowieso, haben Ihr Master-Skript, dass generieren und haben Apache oder Twistd oder etwas dienen sie auf.

Ansonsten bin ich keine Kenntnis von CI-Systeme, die Dinge viel anders als Buildbot oder Hudson tun.

Answer 2

https://my.infocaptor.com

Es könnte für Ihre Bedürfnisse erarbeiten. Sie könnten Informationen über Google-Tabelle aggregieren, vorab zusammenfassen sie in Ihrem eigenen db oder direkt zugreifen

Als anschauliches Beispiel wir unsere eigenen Metriken offen auf der Titelseite Armaturenbrett verfolgen. Dieses Dashboard sammelt Informationen aus der MySQL-Datenbank SAAS und ist Echtzeit.

Es gibt eine Menge vorgefertigter Adapter und für individuelle Bedürfnisse, können Sie ein Skript auf Ihrem Webserver schreiben und es dann eine Schnittstelle mit InfoCaptor mit http Post http://infocaptor.com/help/http_post.htm