Kann jemand bitte Data Mining, SSIS, BI, ETL und andere verwandte Technologien erklären?

Question

Ich war im Gespräch mit einem Kollegen gestern in Bezug auf eine Situation, in der er SSIS verwendet (oder so ähnlich) ein paar wirklich coole Sache mit einem SSIS-Paket zu tun, wo er in einem Namen wie „Dr. Reginald Williams, PhD geleitet. " und basierend auf einigem Gewichtungsschema des System intelligent genug war, um herauszufinden, wie es zu zerlegen und speichern sie in der Datenbank als „Salutation- Vorname - Nachname - Suffix“. Er warf einige Schlagworte wie BI heraus und SSIS, ETL und Data Mining. Ich wirklich mehr Informationen wollte, aber nicht einmal wissen, wo man anfangen soll fragen.

Ich bin ein Entwickler .Net und gründlich in C # versiert, Vb.Net, WPF, etc ..., aber ich habe keine Ahnung, was diese Technologien sind, wie sie auf meine Fähigkeiten hinzuzufügen, und ob oder nicht es ist etwas, das ich sollte wirklich darauf konzentrieren. Jedwedes Richtung wäre hilfreich.

Answer 1

SSIS == SQL Server Integration Services und es ist ein Extrakt Transform and Load (ETL) Werkzeug ist es eine weit überlegene Umsetzung dessen, was Data Transformation Services oder DTS in SQL7, SQL2K Ära. Es ist ein großes Werkzeug zum Exprimieren Workflow-Prozessen, wobei Daten von Punkt A zu Punkt B (und C und D usw.) bewegt wird, und Veränderungen erfahren durch diesen Prozess wie Konsolidierung zu einem denormalisierte Design oder Datenbereinigungs.

BI oder Business Intelligence ist ein Moniker für eine ganze Kategorie in der Tech-Welt, und es ist ein großartiger Ort im Augenblick zu sein. BI Fähigkeiten sind sehr geschätzt und schwer zu bekommen, einer der Gründe, dies der Fall ist, ist, dass es schwierig ist, einen echten BI Fall in einem Labor neu zu erstellen, so wird Unterricht fast immer in einer realen Situation getan.

Von einem hohen Niveau, BI-Projekte in der Regel einen Endpunkt der Berichterstattung einzubeziehen. Oft als Entwickler sind wir auf Transaktionsbericht zu schreiben, wie die Details eines PO verwendet, aber BI kann in sehr breiten Berichte erhalten, die Produktumsatzentwicklung über Jahrzehnte decken und mit Hunderten von Millionen von Datensätzen beschäftigen. Die Art, wie wir Datenbanken für Anwendungen entwerfen ist nicht ideal für diese Art der Berichterstattung, so dass andere Tools und Technologien erfunden wurden und werden im BI-Raum verwendet. Dies sind Dinge wie Cubes, die Sie oft hören OLAP-Würfel genannt. OLAP-Cubes in der Regel aus einem Data Warehouse stammen, die nichts anderes als eine andere Datenbank - aber typische Lager enthalten Daten, die von mehr als einer kam, und oft Dutzende von anderen Anwendungsdatenbanken. Ihr Inventar-App Kauf-App, HR-App und eine ganze Reihe von anderen alle Bits und Stücke von Daten enthalten, die ein vollständiges Bild des Unternehmens erstellen, wird ein BI Architekt etwas wie SSIS verwenden, um die Daten aus allen Systemen zu ziehen, massieren Sie es und speichern sie in dem Data Warehouse, das mit einer anderen Art von Design gestaltet ist besser für die Berichterstattung. Sobald es im Lager ist, wird er Analysis Services verwenden, um Würfel zu erstellen, die auf diesen Daten und so etwas wie Reporting Service zu zeigen, dass die Daten berichtet über.

Edit: sorry, Data Mining vergessen, es ist ein weiterer unspezifischer Begriff, und das Konzept oder ein Prozess und nicht so sehr ein Werkzeug beschreibt. In einem einfachen Beispiel ist es ein methodischer Ansatz, um Muster in Daten zu identifizieren. In der Vergangenheit ein gutes Geschäft analysy durch Daten für Trends aussehen würde, aber mit modernen Datenbanken Sie Datensätze zu sprechen sind viel zu groß, um manuell durchkämmen - Data Mining ermöglicht es Ihnen, den Computer anzuweisen, durch diese Daten zu kämmen und Muster zu identifizieren, die von Interesse sind .

Ich hoffe, das hilft

Answer 2

Was Ihr Kollege hat vielleicht besser als „intelligentes Parsing“ eine Zeichenkette beschrieben. Das könnte auf vielen Ebenen der Komplexität durchgeführt werden - zum Beispiel mit Hilfe statistischer Modelle, die Ihnen die Wahrscheinlichkeit zu geben, dass „Dr.“ eine Anrede und nicht ein Vorname. Oder es könnte nur eine einfache Lookup-Liste allgemeiner Begrüßungen verwenden, wobei in diesem Fall ist es nur regelmäßiger prozeduralen Code, nichts weiter.

SSIS ist die Abkürzung für SQL Server Integration Services. Es ist im Grunde DTS auf Steroiden; einige Leute lieben es, und manche Leute es hassen. Es würde schwierig sein, dass die Verwendung von selbst, die Art der Sache zu tun, du redest; es ist in erster Linie nur für Daten aus verschiedenen Quellen zu nehmen und kombinieren sie, verwandeln, und es woanders zu laden. Es kann einige nette Dinge tun, von denen viele neigen dazu, Data-Mining, wie, zu sein, aber es ist letztlich ein Produktionswerkzeug für Daten eine oder andere Richtung pauken. Es ist nicht besonders gut in der Data-Mining-Gemeinschaft respektiert werden.

Data Mining eine ganze akademische Disziplin ist, konzentrierte sich einige (typischerweise große) Menge über die Verwendung Zukunft Antworten oder besser zu verstehen, Muster in den vorhandenen Daten von Daten entweder vorherzusagen. Es ist auf jeden Fall ein großer Bereich, in zu erhalten, aber nicht etwas, das man nur ohne eine intensive Studie der Mathematik und Algorithmen abholen und tun. Ein gutes Buch zu diesem Thema ist diese .

„Business Intelligence“ ist eigentlich mehr ein Schlagwort als eine bestimmte Technologie und verschiedene Dinge für verschiedene Menschen bedeuten kann. Im Grunde schlägt die Idee weniger zu tun dumm Zeug mit Geschäftsdaten, und in der Regel bezieht er sich auf die Analyse von Trends im Laufe der Zeit oft OLAP verwenden. Es kann auch Data Mining oder AI-Algorithmen, aber da es keine exakte Definition ist, nur etwa jeder, der möchte, dass Sie etwas verkaufen, wird Ihnen sagen, es bietet „Business Intelligence“, und hoffen, dass Sie graben nicht weiter.

Answer 3

SSIS ist SQL Server Integration Services und ist nützlich für den ETL tun (Extract, Transform und Load), die das vordere Ende vieler Data Warehousing / Business Intelligence Lösungen sind, die Daten zu integrieren in einfachen dreidimensionale Modelle zu verwenden. SSIS ist auch für kleinere Projekte als eine bequeme Art und Weise nützliche Altdaten oder Daten aus anderen Repositories oder Dateien zu laden.

Data Mining bedeutet in der Regel die Daten aus den integrierten Quellen mit Informationen zu folgern, dass würde nicht sein offensichtlich von Transaktionsdaten (über die Integration von mehreren Quellen mehr „Dimensionen“, um die Daten zu geben.

BI ist ein großes Thema, damit es nicht etwas zu konzentrieren sein kann, wenn Sie in diesem Bereich erhalten möchten, aber SSIS kann auf kleinere Projekte nützlich sein und ist im Wert von rund auf jeden Fall lernen.