複数の物理ノード間でテーブルを分割

Question

私は現在、コレクションを伴うプロジェクトに取り組んと（私の知る限りでの作業に慣れているどのような）いくつかの巨大なデータセットを格納していますので。データは、本質的にメタ情報から構成され、（値は経時的に傾向付けされている）、実際の値

メタ情報自体が比較的大きいではありませんが、巨大な何も、私はおそらくそのは、今後数年間にわたり10から50000000行サイズを拡大するだろうと言うでしょう。これは私には扱いやすいようで、それがきちんとインデックス化されている場合、SQL Serverのがっしりしたシングルは、このデータへの迅速なアクセスを提供するのに十分でなければなりません（とデータは非常に定義された境界で、インデックスに非常に簡単です）...

しかし、トレンドデータは全く別の話です。一年の中で、我々は非常に簡単に40から50000000行日々に引っ張っされようとしている、そしてそれは、次の3または4年間、現実的に二重の年間でします。

このトレンドデータはまた、非常にはるかに管理サイズのチャンクに分割します境界を定義しています。私は、複数の物理データベースノード間でこのデータを広めるでしょうメカニズムを分割するいくつかの並べ替えを設定することができます願っています。データは基本的にすべての単一のテーブルに含まれています。私は、SQL Serverのテーブルのパーティショニングに見えたが、複数のサーバ上でデータを分散する方法を見つけることができませんでした。

私の質問は、複数の物理ノード上の表のパーティション化を実現するためのいくつかの「比較的単純な」方法があるかどうかです。私はまた、SQL ServerのPDWを見ていくつかの時間を費やしてきたが、その困難なオンライン情報を見つけるために、私は私が確立するまで構築された機能を用いて、溶液のこの種を実装するための簡単な方法がないことをことを追求する必要はありませんSQL Serverに。

何かアドバイスをいただければ幸いです...

Answer 1

私はこれには専門家だが、私は、あなたが探していることもすると、データベース「シャーディング」であると信じています。 をここにシャーディングの問題と利点の興味深い分析があります。

のデザインはおそらく非常に高価になることですが、あなたのデータは、単一のデータベースで管理不能であることを行っているならば、これは良い解決策になる可能性が「シャード」。

の最終的には、実装

少量の情報は、ウィキペディアのページにもあります破片をサポートしているソフトウェアのリスト（たとえば、休止状態ORM）