共同科学/データ処理プロジェクト用のダッシュボード

Question

Hudson のような継続的インテグレーション サーバーは、ソフトウェア開発にとって非常に素晴らしい追加機能です。私は学術研究室で働いており、同様の原則を科学データ分析に適用したいと考えています。どのデータ コレクションが正常で、どのデータ コレクションがテストに失敗しているか (主に単純なシェル スクリプト) などをダッシュ​​ボードのようなビューで表示したいと考えています。とても似ています クロムダッシュボード （警告：ページの読み込みに時間がかかります）。

(行動調査からの) データを生の形式から分析しやすい最終的な形式にするには、少なくとも 4 人の作業と、おそらく 10 ～ 12 時間のコンピューター時間が必要です。Hudson と buildbot を試しましたが、どちらも私たちのワークフローにはあまり適していません。私たちは、対象データのおそらく 50 個の独立したコレクションに対して大量のテストを実行し、結果を適切に表示したいだけです。

それで！この種のレポートを簡単に生成する方法の推奨事項はありますか?あるいは、この種のワークフローを継続的統合サーバーに組み込む良い方法を思いつきませんか?または、小さな関数ではなく小さなシェル スクリプトのテストを処理できる単体テスト ダッシュボードをお勧めできますか?

ありがとう！

Answer 1

私は日常的にあなたのデータ変更を推測しているので、あなたが-ly基づいてデータの新しいバッチで同じテストを実行します。

Buildbotのは、シェルスクリプトですテストを実行することができます。あなたはそれを実現するためにBuildbotのを拡張するためにはPythonのビットを書く必要があります。あなたはBuildbotのかハドソンを使用したくないとあなたは、単に24時間毎またはので、あなたのテストを実行したい、あなたはcronジョブとしてスクリプトをインストールするか、すべてのテストを実行してインストールしますマスタースクリプトを書くことができればということでは、言いましたのことのcronジョブとして。あなたはおそらく、あなたはとにかくダッシュボードのいくつかの並べ替えをしたい場合はHTMLにあなたのテストの結果を生成します書き込み何かに持って行くあなたのマスタースクリプトがそれを生成し、Apacheを持っているか、twistdか何かがそれを果たす持っていることを考えます。

そうでなければ、私はBuildbotのか、ハドソンよりもはるかに違うことを行いますCIシステムを知らないんです。

Answer 2

チェックアウト https://my.infocaptor.com

あなたのニーズに応えられるかもしれません。Google スプレッドシートに情報を集約したり、独自のデータベースに事前に要約したり、直接アクセスしたりできます。

実際の例として、私たちはフロントページのダッシュボードで独自の指標をオープンに追跡しています。このダッシュボードは、SAAS mysql データベースからリアルタイムで情報を収集します。

事前に構築されたアダプターが多数あり、カスタムのニーズに合わせて、Web サーバー上にスクリプトを作成し、http post を使用してそれを infocaptor とインターフェースできます。 http://infocaptor.com/help/http_post.htm