informatica powercenter vsカスタムperl ETLジョブ？
https://stackoverflow.com/questions/1202869
-
05-07-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
Russian質問
私の会社のほとんどは、データベース間のExtract-Transform-Loadタイプのデータ移動ジョブにpowercenter informaticaを使用しています。
しかし、私のプロジェクトには大きなカスタムPerlジョブがあり、データを移動して他の更新をトリガーするための適切な手段としてJavaが投入されています。
代わりにpowercenterを使用するように書き直すという話がありますが、そのようなプロジェクトでの人々の経験は何ですか、それは理にかなっていますか？このような「既製」に行く際に、多くの柔軟性を犠牲にしているようです。ソリューションですが、ETLツールは、たとえば生産性の観点から多くを購入しますか？
解決
Informaticaは運用チームに適しています。非技術者がジョブを監視および再実行できるようにします。ただし、どのタスクも必要以上に複雑になります。それはソフトウェアの巨大な部分であり、学ぶのに時間がかかり、プログラミングなしで実行できる変換が制限されています。 「Enterprise ETL」で毎日Perlやプログラミング言語を使用することは確かです。ツール。
他のヒント
2001年からInformaticaとTibcoが導入され、人々はInformaticaを簡単に手に入れることができました（基本的なタスク）が、Tibcoは苦痛でした。 Tibcoは廃止され、Informaticaの設置面積が拡大し、そのコードはビジネスアナリストでさえ見られるようになりました。
一度習熟すれば、すぐに多くのことができます（FinanceおよびPOデータマートで、1週間に複数のソースから3つのファクトテーブルと12のディメンションを作成しました）。 、他のデベロッパーへの移行など。楽しい時間の短縮、会議や組織の事務処理の時間の増加。
データマート、データ移動、およびASPへのインターフェイスに使用します。
コンパイルされたCプログラムの代わりに、完全にカスタム化したい場合は、Java変換が可能になりました。
あなたの場合、2つの理由でInformaticaに変換します：影響分析（SLA）と保守（監視、単一ETLツール）。再利用性もプラスです。
informatica固有：影響分析は優れたツールです。多くの緊急修正を防ぎ、SLAの維持に役立ちます。私にとって、SLAの改善は柔軟性よりも優れています。 Informaticaの監視機能も非常に役立ちます。
一般：会社が単一のETLツールに移行している場合、そのジョブを変換するとメンテナンスが容易になります。また、サポートチームが1つのツールを監視する方が効率的で信頼性があります。会社がオブジェクトを再利用可能にしようとすることで、変換が容易になり、将来の生産性が向上することを願っています（変換中に作成できる新しい再利用可能なオブジェクト）。
注意事項：変換タスクを実際に見積もることは困難です。可能であれば、これを独立したプロジェクトにします（より大きな成果物の一部ではありません）。
コーディングにより、柔軟性が高まります。 Perl、Python、C＃、Java、SQLなどなんでも。いくつかのデータ変換をすばやく簡単に構築できます。なぜだれかがETLソフトウェアを見ることに煩わされるのでしょうか？
ソリューション全体の準備が整ったと仮定しましょう。選択した言語のすべてのスクリプトがあります。ここでいくつかの質問：
- データの量が増え、すべてをメモリに収めることができない場合、キャッシュはどこに作成されますか？制御できますか？
- すべてのログをどのように作成しますか？作成しましたか？
- エラー処理はどうですか？エラー（例：ディスク領域の問題、接続の問題など）の場合、根本的な原因は簡単に示されますか？
- 監視はどのように行いますか？ダイナミックダッシュボードはありますか？
- ソリューションでクラスタリングは可能ですか？
- より高速に実行するために、複数のスレッドでデータ変換を実行することは可能ですか？
- フェイルオーバー：障害をどのように処理しますか？障害点からジョブを再開することは可能ですか？
- 接続性：新しいデータソース（Salesforceなど）が表示されます。読み取り/書き込みのためにスクリプトを強化するのにどれくらい時間が必要ですか？
- SAPなどのERPシステムに接続できますか？
- スクリプトからデータ系統と影響分析を取得できますか？
これらすべて-そしてさらに-いくつかの降下ETLソフトウェアを使用すると得られます。誰かが一生懸命に働いており、何年もの間、これらすべてのトラブルに対処し、GUIを入手しています。それが違いです。
今：たまに1つのファイルをDBにロードするために何かが必要な場合-何でもできます。しかし、それらの多くを計画している場合は、ETLソフトウェアを検討する価値があります。そして、Informaticaがすでにあなたの会社にあるのなら、なぜ車輪をいじって再発明するのですか？
InformaticaなどのETLツールは、コーディングできない人がいる場合に生産性（およびきれいな写真）を購入します。コードを維持できる人がいない場合は理にかなっています。コーディングできる人にとっては、モグラヒルを動かすために500ポンドのゴリラを雇うようなものです。
参照：この投稿および
自動ジョブロギング（ログに記録する内容について考える必要はありません...すべてはほとんどあなたのために行われます）とランタイム監視ツール（私のワークフローはどこまで進んでいますか） 、どこで失敗しましたか？）。
