誰かがデータマイニング、SSIS、BI、ETL、およびその他の関連技術について説明してもらえますか？

Question

昨日同僚と話していたのは、彼がSSIS（またはそのようなもの）を使用して、SSISパッケージで本当にクールなことをして、＆quot; Dr。レジナルドウィリアムズ博士＆quot;何らかの重み付けスキームに基づいて、システムはトークン化してデータベースに「Salutation- First Name-Last Name-Suffix」として保存する方法を把握できるほどスマートでした。彼は、BI、SSIS、ETL、データマイニングなどの流行語をいくつか捨てました。もっと情報が欲しかったのですが、どこから質問すればいいかさえ知りませんでした。

私は.Net開発者であり、C＃、Vb.Net、WPFなどに精通していますが、これらのテクノロジーが何であるか、スキルセットにそれらを追加する方法、およびどうかそれは私が本当に注目すべきことです。ありとあらゆる方向が役立つでしょう。

Answer 1

SSIS == SQL Server Integration Services。これは抽出および変換（ETL）ツールであり、SQL7、SQL2K時代のデータ変換サービスまたはDTSのはるかに優れた実装です。これは、データがポイントAからポイントB（およびcやdなど）に移動され、非正規化デザインへの統合やデータクレンジングなどのプロセスを通じて変更を受けるワークフロープロセスを表現するための優れたツールです。

BIまたはビジネスインテリジェンスは、テクノロジーの世界のカテゴリ全体のモニカーであり、今すぐに利用するのに最適な場所です。 BIスキルは非常に高く評価されており、その理由の1つは、実際のBIケースをラボで再現するのが難しいため、教育はほとんど常に実際の状況で行われることです。

通常、BIプロジェクトにはレポートのエンドポイントが含まれます。多くの場合、開発者として、POの詳細などのトランザクションレポートの作成に慣れていますが、BIは数十年にわたる製品の販売動向をカバーし、数億件のレコードを扱う非常に広範なレポートを作成できます。アプリケーション用にデータベースを設計する方法は、この種のレポートには理想的ではないため、他のツールやテクノロジーが発明され、BIスペースで使用されています。これらは、OLAPキューブと呼ばれることが多いキューブのようなものです。 OLAPキューブは通常、別のデータベースにすぎないデータウェアハウスから生成されますが、通常のウェアハウスには、複数の、多くの場合、他の多くのアプリケーションデータベースからのデータが含まれます。在庫アプリ、購入アプリ、人事アプリ、その他すべてには、ビジネスの全体像を作成するデータの断片が含まれています。BIアーキテクトは、SSISなどを使用して、これらすべてのシステムからデータを引き出し、マッサージしますレポート作成に適した異なる種類の設計で設計されたデータウェアハウスに保存します。ウェアハウスに入ったら、Analysis Servicesを使用して、そのデータとReporting Servicesなどのキューブを作成し、そのデータに関するレポートを表示します。

編集：申し訳ありませんが、データマイニングを忘れました。これは、特定の用語であり、概念またはプロセスを説明するものであり、ツールではありません。簡単な例では、データのパターンを識別するための体系的なアプローチです。過去には、優れたビジネス分析はデータの傾向を調べていましたが、現代のデータベースでは、データセットが大きすぎて手動でコームすることができません-データマイニングを使用すると、そのデータをコーミングして関心のあるパターンを特定するようにコンピューターに指示できます。

役立つこと

Answer 2

同僚がしたことは、「インテリジェントな解析」としてより適切に説明できます。文字列の。これは、多くの高度なレベルで実行できます。たとえば、統計モデルを使用して、「Dr。」は敬称であり、名ではない。または、一般的な挨拶文の単純な検索リストを使用することもできます。その場合、それは単なる通常の手続きコードであり、それ以上のことはありません。

SSISは、SQL Server Integration Servicesの略です。基本的にはステロイドの DTS です。好きな人もいれば嫌いな人もいます。それを単独で使用して、あなたが話しているようなことをするのは難しいでしょう。主に、さまざまなソースからデータを取得し、それを組み合わせ、変換し、別の場所にロードするためだけのものです。それは気の利いたことをすることができ、その多くはデータマイニングのようになりがちですが、最終的には、データをさまざまな方向に詰め込むためのプロダクションツールです。データマイニングコミュニティでは特に尊敬されていません。

データマイニングは、全体的な学問分野であり、いくつかの（通常は大量の）将来の回答を予測するか、既存のデータのパターンをよりよく理解するためのデータ入るのは間違いなく素晴らしい分野ですが、数学とアルゴリズムの集中的な研究なしであなたがただ拾ってやることができるものではありません。このテーマに関する良い本は、これです。

＆quot;ビジネスインテリジェンス＆quot;は特定のテクノロジーというよりは本当に流行語であり、人によって異なることを意味します。基本的に、このアイデアは、ビジネスデータを使用した愚かな作業を少なくすることを示唆しており、一般的には、OLAPを使用する傾向の長期にわたる分析を指します。データマイニングまたはAIアルゴリズムも含まれる場合がありますが、厳密な定義はないため、販売したい人ならだれでも、「ビジネスインテリジェンス」を提供し、それ以上掘り下げないことを願っています。

Answer 3

SSISは SQL Server Integration Services であり、ETL（抽出、変換、およびLoad）は、データを統合する多くのデータウェアハウジング/ ビジネスインテリジェンスソリューションのフロントエンドです。使いやすい次元モデルに。 SSISは、他のリポジトリまたはファイルからレガシーデータまたはデータをロードする便利な方法として、小規模プロジェクトにも役立ちます。

データマイニングは通常、統合されたソースからのデータを使用して、トランザクションデータから明白になります（複数のソースを統合して、データにより多くの「ディメンション」を与えます。

BIは巨大なトピックであるため、その分野に参入したい場合を除き、焦点を当てることはできませんが、SSISは小規模なプロジェクトで役立ち、いずれにしても学習する価値があります。