Informatica PowerCenter vs Custom Perl ETL 작업?

Question

우리 회사의 대부분은 추출물 트랜스포트로드 유형 데이터에 데이터베이스간에 작업 작업을 사용하여 PowerCenter Informatica를 사용합니다.

그러나 내가 켜져있는 프로젝트에는 데이터를 이동하고 다른 업데이트를 트리거하기 위해 일부 Java가 던져진 큰 맞춤형 Perl 작업이 있습니다.

대신 PowerCenter를 사용하는 것을 다시 작성하는 것에 대한 이야기가 있습니다. 그러한 프로젝트에 대한 사람들의 경험은 무엇입니까? 이러한 "선반 오프"솔루션으로 이동하는 데 많은 유연성을 거래하는 것처럼 보이지만 ETL 도구는 생산성 측면에서 많은 것을 구매합니까?

Answer 1

Informatica는 운영 팀에 좋습니다. 비 기술적 인 사람이 일자리를 모니터링하고 다시 실행할 수있는 능력을 허용합니다. 그러나 모든 작업이 필요한 것보다 훨씬 더 복잡합니다. 그것은 거대한 소프트웨어이며 배우는 데 시간이 걸리며 프로그래밍없이 할 수있는 변환이 제한적입니다. 나는 "Enterprise ETL"도구를 통해 언제든지 Perl 또는 프로그래밍 언어를 사용합니다.

Answer 2

우리는 2001 년부터 Informatica와 Tibco를 시작했으며 사람들은 Informatica (기본 작업을 위해)를 쉽게 선택할 수 있었지만 TIBCO는 고통이었습니다. TIBCO는 이제 사라졌고 Informatica의 발자국이 성장했으며 이제는 비즈니스 분석가조차도 코드를보고 있습니다.

능숙 해지면 많은 일을 빨리 얻을 수 있습니다 (금융 및 PO 데이터 마트를 위해 일주일에 여러 소스에서 3 개의 사실 테이블과 12 개의 차원을 수행했습니다). 코드 변경, 스케줄링, 전환시 유지 보수가 더 쉽습니다. 또 다른 개발자 등. 재미있는 시간이 줄어들고, 회의와 조직의 서류에서 더 많은 시간.

우리는 데이터 마트, 데이터 이동 및 ASP의 인터페이스에 사용합니다.

컴파일 된 C 프로그램 대신 완전히 사용자 정의를하고 싶다면 이제 Java 변환이 있습니다.

Answer 3

귀하의 경우 나는 영향 분석 (SLA)과 유지 관리 (모니터링, 단일 ETL 도구)의 두 가지 이유로 Informatica로 변환합니다. 재사용 가능성은 또 다른 장점입니다.

Informatica와 관련하여 : 영향 분석을하는 것은 훌륭한 도구입니다. 많은 비상 수정을 방지하고 SLA를 유지하는 데 도움이됩니다. 나에게 SLA를 개선하는 것은 유연성보다 높습니다. Informatica의 모니터링 기능도 매우 유용합니다.

일반적으로 : 회사가 단일 ETL 도구로 이동하는 경우 해당 작업을 변환하면 유지 관리가 더 쉬워집니다. 지원 팀이 하나의 도구를 모니터링하는 것이 더 효율적이고 신뢰할 수 있습니다. 바라건대 회사가 객체를 재사용 할 수있게하려고 노력하므로 전환이 더 쉬워지고 미래의 생산성을 향상시킵니다 (전환 중에 생성 할 수있는 새로운 재사용 가능한 개체).

주의 사항 : 전환 작업은 실제로 추정하기 어렵습니다. 할 수 있다면 (더 큰 전달 가능의 일부가 아님) 이것을 독립적 인 프로젝트로 만드십시오.

Answer 4

코딩은 유연성을 제공합니다. Perl, Python, C#, Java, SQL- 무엇이든. 데이터 변환을 신속하고 쉽게 구축 할 수 있습니다. 왜 누군가가 ETL 소프트웨어를 보는 것을 귀찮게할까요?

전체 솔루션을 준비했다고 가정 해 봅시다. 당신이 선택한 언어로 된 모든 스크립트가 있습니다. 이제 몇 가지 질문 :

• 데이터의 양이 커지고 메모리에 모든 것을 맞출 수 없다면 캐시는 어디에 생성됩니까? 통제 할 수 있습니까?
• 모든 로그를 어떻게 생성합니까? 당신은 그것을 만들었습니까?
• 오류 처리는 어떻습니까? 오류가 발생하는 경우 (예 : 디스크 공간 문제, 연결 문제, ET) 근본 원인이 쉽게 표시됩니까?
• 모니터링은 어떻게합니까? 동적 대시 보드가 있습니까?
• 솔루션으로 클러스터링이 가능합니까?
• 더 빨리 실행하기 위해 여러 스레드에서 일부 데이터 변환을 실행할 수 있습니까?
• 장애 조치 : 장애를 어떻게 처리합니까? 실패 시점에서 작업을 다시 시작할 수 있습니까?
• 연결 : 새로운 데이터 소스가 나타납니다 - Saleforce- 읽기/쓰기를 위해 스크립트를 향상시켜야합니까?
• SAP와 같은 ERP 시스템에 연결할 수 있습니까?
• 스크립트에서 데이터 계보 및 영향 분석을 얻을 수 있습니까?

하강 ETL 소프트웨어를 사용할 때 얻을 수 있습니다. 누군가는 열심히 일해 왔으며 몇 년 동안 모든 문제를 다루고 GUI를 얻었습니다. 그게 차이입니다.

지금 : 한 파일 하나를 DB에 한 번에로드하기 위해 무언가가 필요하다면 무엇이든 할 것입니다. 그러나 많은 ETL 소프트웨어를 고려할 가치가 있습니다. 그리고 Informatica가 회사에 이미 존재한다면 왜 멍청이를 다시 발명 할 수 있습니까?

Answer 5

Informatica와 같은 ETL 도구는 코딩 할 수없는 사람들이있는 경우 생산성 (및 예쁜 그림)을 구입합니다. 코드를 유지할 수있는 사람이 없다면 의미가 있습니다. 코딩 할 수있는 사람에게는 500 파운드의 고릴라를 고용하여 두더지를 움직입니다.

또한보십시오: 이 게시물 그리고 이 게시물 안에 이 스레드

자동 작업 로깅 (로그를 작성하려는 내용에 대해 생각할 필요가 없습니다 ... 모두가 당신을 위해 거의 이루어 졌음)와 런타임 모니터링 도구 (내 워크 플로우, 어디에 있는지, 어디에 있는지에 대해 생각할 필요가 없습니다. 실패 했습니까?).