Informatica PowerCenter vs trabalho personalizado perl ETL?

Question

A maioria da minha empresa utiliza Informatica PowerCenter para os dados de tipo Extract-Transform-Load mover trabalhos entre bancos de dados.

No entanto projeto que estou em tem um costume trabalho Perl grande com alguns Java jogado em boa medida para mover dados e desencadear algumas outras atualizações.

Fala-se de reescrever a coisa para uso powercenter em vez disso, o que são as experiências das pessoas no projeto como um, isso faz sentido? Parece que você troca muita flexibilidade em ir para um tal "off the shelf" solução, mas fazer as ferramentas de ETL comprar-lhe muito em termos de produtividade por exemplo?

Answer 1

Informatica é bom para uma equipe de operações. Ele permite que uma pessoa não técnica a capacidade de monitorar e empregos re-run. No entanto, não faz qualquer tarefa muito mais complicada do que precisa ser. É um enorme pedaço de software, e leva um tempo para aprender, e é limitado nas transformações que pode fazer sem programar. Eu certamente usaria Perl ou uma linguagem de programação qualquer dia sobre uma ferramenta de "Empresa ETL".

Answer 2

Tivemos Informatica e Tibco a partir de 2001, e as pessoas foram capazes de facilmente pegar Informatica (para tarefas básicas) mas Tibco era uma dor. Tibco é ido agora, e a pegada da Informatica tem crescido, e seu código é agora visto por analistas de negócio, mesmo ..

Uma vez que você é proficiente, você pode fazer muita coisa rapidamente (I fez 3 tabelas de fatos e 12 dimensões de várias fontes em uma semana, para um data mart Finanças e PO), e é uma manutenção mais fácil quando alterar o código, programação , a transição para outro desenvolvedor, etc. Menos tempo se divertindo, mais tempo em reuniões e no do org papelada seu.

Nós usá-lo para data marts, movimentos de dados e interfaces para ASPs.

É agora tenho uma transformação Java se você quiser fazer algo totalmente personalizado, em vez de um programa C compilado.

Answer 3

No seu caso eu iria converter a Informatica por duas razões: Análise de impacto (SLA) e manutenção (monitoramento, ferramenta ETL single). Reutilização é outra vantagem.

Específico para informatica: Ter Análise de impacto é uma grande ferramenta: Ela impede muitas correções de emergência e ajuda a manter os seus SLAs. Para mim, melhorando SLAs está acima de flexibilidade. Os recursos de monitoramento em Informatica também são muito úteis.

Em geral: Se a sua empresa está se movendo para uma única ferramenta ETL, convertendo esse trabalho irá torná-lo mais fácil de manter. Ele também é mais eficiente e confiável para equipes de suporte para monitorar uma ferramenta. Esperemos que a sua empresa tenta fazer objetos reutilizáveis, o que torna a conversão mais fácil e aumentar a produtividade do futuro (novos objetos reutilizáveis ??que você pode criar durante a conversão).

Uma palavra de cautela: as tarefas de conversão são realmente difíceis de estimar. Faça deste um projeto independente se você pode (e não uma parte de uma entrega maior).

Answer 4

Codificação lhe dá grande flexibilidade. Seja Perl, Python, C #, Java, SQL - o que quer. Você pode rapidamente e facilmente construir algumas transformações de dados. Por que alguém se preocupou em olhar, mesmo em software ETL, certo?

Vamos supor que você tem toda a solução pronta. Todos os seus scripts na língua de vocês estão escolha está lá. Agora algumas perguntas:

• Se quantidade de dados cresce e você não pode caber tudo na memória, onde está o cache criado? você pode controlá-la?
• Como você cria todos os logs? Você criou isso?
• Que sobre manipulação de erro? Em caso de erros (por exemplo, problemas de disco espaço, problemas de conectividade, ets.) É a causa raiz facilmente indicado?
• Como você faz o monitoramento? Existe alguma dashboard dinâmico?
• O agrupamento possível com a sua solução?
• É possível executar alguns transformação de dados em vários segmentos, para torná-lo correr mais rápido?
• Failover: como você lida com falhas? É possível reiniciar um trabalho a partir do ponto de falha?
• Conectividade:? Uma mostra nova fonte de dados para cima - digamos, Salesforce - Quanto tempo você precisa para melhorar o script para ler / escrever a ele
• Você pode conectar-se a sistemas de ERP como SAP?
• Você pode obter linhagem de dados e análise de impacto para fora dos roteiros?

Todos aqueles - e ainda mais - você começa quando você usa algum software descida ETL. Alguém tem trabalhado duros anos e para lidar com todos esses problemas e obter algum GUI para ele. Essa é a diferença.

Agora: se você precisa de algo para carregar um arquivo para um DB de vez em quando - nada fará. Mas se você pretende ter um monte daqueles software de ETL vale a pena considerar. E se Informatica já está lá na sua empresa, então por pother e re-inventar a roda?

Answer 5

ferramentas de ETL como Informatica comprar-lhe a produtividade (e bonitas imagens) se você tem pessoas que não podem código. Faz sentido se não há ninguém que possa manter o código. Para alguém que o código pode, é como a contratação de um gorila de 500 libras para mover um montículo.

Veja também: Este post e este post em esta discussão

É uma espécie de bom para o registro automático de trabalhos (você não tem que pensar sobre o que você quiser registrar ... está tudo muito bem feito para você) e o tempo de execução ferramentas de monitoramento (o quão longe é o meu fluxo de trabalho , e de onde ele falhar?).