Informatica Powercenter vs benutzerdefinierte Perl ETL-Job?

Question

Die meisten meiner Firma verwendet Powercenter von Informatica für Extract-Transform-Load-Typ Daten bewegen Aufträge zwischen Datenbanken.

Allerdings Projekt bin ich auf hat einen großen benutzerdefinierten Perl Job mit einigen Java für eine gute Maßnahme geworfen, um Daten zu verschieben und einige anderen Updates auslösen.

Es ist die Rede, die Sache neu zu schreiben Powercenter zu verwenden, anstatt, was die Erfahrungen der Menschen an einem solchen Projekt sind, ist es sinnvoll? in gehen auf eine solche „von der Stange“ Lösung scheint, wie Sie viel Flexibilität handeln, aber kaufen die ETL-Tools Sie viel in Bezug auf die Produktivität zum Beispiel?

Answer 1

Informatica ist gut für ein Operations-Team. Es ermöglicht eine nicht-technische Person die Möglichkeit der Überwachung und Wiederauflagen. Allerdings macht es jede Aufgabe viel komplizierter, als es sein muss. Es ist ein riesiges Stück Software, und dauert eine Weile zu lernen, und es ist begrenzt in den Transformationen ohne Programmierung tun. Ich würde auf jeden Fall Perl oder eine Programmiersprache verwendet jeden Tag über ein „Enterprise ETL“ Tool.

Answer 2

Wir hatten Informatica und Tibco ab 2001, und die Menschen konnten leicht Informatica abholen (für grundlegende Aufgaben), aber Tibco war ein Schmerz. Tibco ist jetzt weg, und Informaticas Fußabdruck ist gewachsen, und sein Code nun auch Business Analysts ..

angesehen

Sobald Sie beherrschen sind, können Sie viel schneller erledigen (habe ich 3 Faktentabellen und 12 Dimensionen aus mehreren Quellen in einer Woche für einen Finanz- und PO Data Mart), und es ist einfacher Wartung, wenn Code zu ändern, Terminplanung , an einem anderen Entwickler Übergang usw. Weniger Zeit, den Spaß, mehr Zeit in Meetings und auf org des Papierkram.

Wir verwenden es für Data Marts, Datenbewegungen und Schnittstellen zu ASPs.

Es hat jetzt eine Java-Transformation, wenn Sie etwas völlig benutzerdefinierte tun wollen, statt einer kompilierten C-Programm.

Answer 3

In Ihrem Fall würde ich aus zwei Gründen Informatica konvertieren: Auswirkungsanalyse (SLA) und Wartung (Überwachung, einzelnes ETL-Tool). Wiederverwertbarkeit ist ein weiteres Plus.

Spezifisch für informatica: Mit Analyse Impact ist ein großes Werkzeug: Es verhindert viele Notfall-Fixes und hilft Ihnen, Ihre SLAs halten. Für mich SLAs zu verbessern, ist über Flexibilität. Die Monitoring-Funktionen in Informatica sind auch sehr hilfreich.

Generell gilt: Wenn Ihr Unternehmen zu einem einzigen ETL-Tool bewegt, diesen Job Umwandlung wird es leichter zu halten. Es ist auch effizienter und zuverlässiger für Support-Teams ein Werkzeug zu überwachen. Hoffentlich ist Ihr Unternehmen versucht, Objekte wiederverwendbar zu machen, die Umwandlung erleichtert und zukünftige Produktivität (neue wiederverwendbare Objekte, die Sie bei der Konvertierung erstellen können) erhöhen.

Ein Wort der Vorsicht: Konvertierungsaufgaben tatsächlich schwer zu schätzen. Machen Sie dieses ein unabhängiges Projekt, wenn Sie können (kein Teil eines größeren lieferbar).

Answer 4

Coding bietet Ihnen eine große Flexibilität. Sei es Perl, Python, C #, Java, SQL - was auch immer. Sie können schnell und einfach einige Datentransformationen bauen. Warum sollte jemand jemals die Mühe, selbst bei ETL-Software aussieht, nicht wahr?

Nehmen wir an, Sie die gesamte Lösung bereit haben. Alle Ihre Skripte in der Sprache du bist Wahl sind. Jetzt ein paar Fragen:

• Wenn Datenmenge wächst und man kann nicht alles in den Speicher passen, wo der Cache erstellt? Können Sie es kontrollieren?
• Wie erstellen Sie alle Protokolle? Haben Sie erstellt das?
• Was ist die Fehlerbehandlung? Bei Fehlern (zum Beispiel Speicherplatzprobleme, Verbindungsprobleme, ets.) Ist die Ursache leicht angezeigt?
• Wie geht es Ihnen die Überwachung? Gibt es eine dynamische Armaturenbrett?
• Ist Clustering möglich mit Ihrer Lösung?
• Ist es möglich, eine Datentransformation in mehreren Threads ausgeführt werden, um es schneller laufen?
• Failover: Wie gehen Sie mit einem Defekt? Ist es möglich, einen Job aus der Point of Failure neu starten?
• Verbindungen: eine neue Datenquelle zeigt sich - sagen, Salesforce - Wie viel Zeit müssen Sie das Skript zu verbessern, um es zu lesen / schreiben
• Können Sie sich an ERP-Systeme wie SAP verbinden?
• Können Sie Data Lineage und Wirkungsanalyse aus den Skripten bekommen?

Alle diese - und noch mehr - Sie erhalten, wenn Sie einige Abstieg ETL-Software. Jemand hat hart und arbeitet seit Jahren mit all diesen Problemen zu beschäftigen und eine GUI für sie. Das ist der Unterschied.

Nun: Wenn Sie etwas brauchen, in einer Zeit lang eine Datei in eine DB einmal zu laden - alles tun wird. Aber wenn Sie viele dieser ein ETL-Software Plan ist eine Überlegung wert. Und wenn Informatica bereits dort in Ihrem Unternehmen ist, warum dann pother und neu erfinden das Rad?

Answer 5

ETL-Tools wie Informatica kaufen Sie Produktivität (und schöne Bilder), wenn Sie Menschen haben, die nicht Code kann. Es macht Sinn, wenn es niemand, der den Code halten kann. Für jemanden, der Code kann, es ist wie die Einstellung einer 500-Pfund-Gorilla, um eine Mücke einen Elefanten zu bewegen.

Siehe auch: Dieser Beitrag und diesen Beitrag in dieses Thema

Es ist eine Art schön für die automatische Auftrags Anmeldung (Sie müssen nicht darüber nachdenken, was Sie protokollieren wollen ... es ist so ziemlich alles für Sie erledigt) und die Laufzeit-Monitoring-Tools (wie weit ist mein Workflow , und wo es nicht?).