Informatica powercenter vs Custom ETL perl job?

Question

La plupart de mes entreprises utilisent powercenter informatica pour les tâches de transfert de données de type Extract-Transform-Load entre des bases de données.

Cependant, le projet sur lequel je me trouve a un gros travail Perl personnalisé avec quelques éléments Java ajoutés, ce qui permet de déplacer les données et de déclencher d'autres mises à jour.

On parle de réécrire la chose pour utiliser powercenter à la place, quelles sont les expériences des gens sur un tel projet, cela a-t-il un sens? On dirait que vous échangez beaucoup de flexibilité pour aller vers un tel "standard" solution, mais les outils ETL vous achètent-ils beaucoup en termes de productivité, par exemple?

Answer 1

Informatica est utile pour une équipe opérationnelle. Il permet à une personne non technique de surveiller et de réexécuter les travaux. Cependant, chaque tâche est beaucoup plus compliquée que nécessaire. C'est un énorme logiciel qui prend un certain temps à apprendre et les transformations qu'il peut effectuer sans programmation sont limitées. J'utiliserais certainement Perl ou un langage de programmation n'importe quel jour sur un "Enterprise ETL". outil.

Answer 2

Nous avons eu Informatica et Tibco à partir de 2001, et les gens ont pu facilement prendre Informatica (tâches de base), mais Tibco était pénible. Tibco est maintenant parti, Informatica a étendu son empreinte et même son code est lu par les analystes commerciaux.

Une fois que vous êtes compétent, vous pouvez faire beaucoup de choses rapidement (j’ai réalisé 3 tables de faits et 12 dimensions de sources multiples en une semaine, pour un magasin de données Finance et PO), et la maintenance est plus facile lors de la modification du code, de la planification , passer à un autre développeur, etc. Moins de temps à s'amuser, plus de temps en réunion et sur les tâches administratives de votre organisation.

Nous l'utilisons pour les dépôts de données, les mouvements de données et les interfaces avec les ASP.

Il existe maintenant une transformation Java si vous voulez faire quelque chose de totalement personnalisé, au lieu d'un programme C compilé.

Answer 3

Dans votre cas, je voudrais convertir à Informatica pour deux raisons: analyse d'impact (SLA) et maintenance (surveillance, outil ETL unique). La réutilisation est un autre avantage.

Spécifique à informatica: L’analyse d’impact est un excellent outil: elle empêche de nombreuses corrections urgentes et vous aide à respecter vos contrats de niveau de service. Pour moi, améliorer les SLA est au-dessus de la flexibilité. Les fonctionnalités de surveillance dans Informatica sont également très utiles.

En général: si votre société adopte un seul outil ETL, la conversion de ce travail en facilitera la maintenance. Il est également plus efficace et fiable que les équipes de support technique surveillent un seul outil. Espérons que votre entreprise tente de rendre les objets réutilisables, ce qui facilite la conversion et augmente la productivité future (nouveaux objets réutilisables que vous pourrez créer lors de la conversion).

Attention: les tâches de conversion sont difficiles à estimer. Faites-en un projet indépendant si vous le pouvez (ne faites pas partie d'un produit à livrer plus volumineux).

Answer 4

Le codage vous donne une grande flexibilité. Que ce soit Perl, Python, C #, Java, SQL - peu importe. Vous pouvez rapidement et facilement créer des transformations de données. Pourquoi quiconque se donnerait la peine de consulter le logiciel ETL, n'est-ce pas?

Supposons que vous ayez toute la solution prête. Tous vos scripts dans la langue de votre choix sont là. Maintenant quelques questions:

• Si la quantité de données augmente et que vous ne pouvez pas tout stocker en mémoire, où le cache est-il créé? Pouvez-vous le contrôler?
• Comment créez-vous tous les journaux? Avez-vous créé cela?
• Qu'en est-il de la gestion des erreurs? En cas d’erreurs (problèmes d’espace disque, de connectivité, etc.), la cause première est-elle facilement indiquée?
• Comment faites-vous la surveillance? Existe-t-il un tableau de bord dynamique?
• La mise en cluster est-elle possible avec votre solution?
• Est-il possible d'exécuter une transformation de données dans plusieurs threads pour l'accélérer?
• Basculement: comment gérez-vous les échecs? Est-il possible de redémarrer un travail à partir du point d'échec?
• Connectivité: une nouvelle source de données apparaît - par exemple, Salesforce - combien de temps avez-vous besoin pour améliorer le script pour lire / écrire dessus?
• Pouvez-vous vous connecter à des systèmes ERP tels que SAP?
• Pouvez-vous extraire les scripts du lignage des données et de l'analyse d'impact?

Vous obtenez tous ces avantages, et plus encore, lorsque vous utilisez un logiciel de descente ETL. Quelqu'un travaille dur depuis des années pour résoudre tous ces problèmes et obtenir une interface utilisateur graphique. C'est la différence.

Maintenant: si vous avez besoin de quelque chose pour charger un fichier dans une base de données de temps en temps, tout ira bien. Mais si vous envisagez d’en avoir beaucoup, un logiciel ETL mérite d’être pris en compte. Et si Informatica est déjà présent dans votre entreprise, pourquoi alors s’arrêter pour réinventer la roue?

Answer 5

Des outils ETL comme Informatica vous permettent d’obtenir de la productivité (et de jolies images) si vous avez des personnes qui ne savent pas coder. Cela a du sens si personne ne peut maintenir le code. Pour quelqu'un qui sait coder, c'est comme engager un gorille de 500 livres pour déplacer une taupinière.

Voir aussi: Ce message et ce message dans ce fil

C’est plutôt agréable pour la journalisation automatique des travaux (vous n’avez pas à penser à ce que vous voulez journaliser, c’est tout à fait fait pour vous) et aux outils de surveillance de l’exécution (où en est mon flux de travail et où cela at-il échoué?).