[TALEND] 이기종 데이터베이스 이관
이번 포스팅에서는 형식이 서로 다른 2개 이상의 소스 데이터를 하나의 타겟에 이관하는 방법을 알아보자. 이번 토픽은 Talend의 기능에 초점을 맞추기 보다 Data Migration 업무를 수행하며 경험한 위와 같은 케이스를 나름의 방식으로 해결한 과정을 공유해보려고 한다. 우선 나의 경우 DBMS가 다른 두 개의 소스 테이블과 excel 파일 데이터를 타겟 테이블에 이관하는 경우가 있었다. 이때 사용한 방식이 staging 시스템 혹은 (가능한 상황이면) 타겟 시스템에 임시 테이블을 하나 만들어 놓고 소스 데이터를 전부 이관한 후 임시 테이블에서 필요한 ETL 룰을 적용하며 실제 타겟 테이블에 이관하는 방식이다.
즉, 위와 같은 방식으로 작업을 진행하였다. 소스 데이터를 staging 시스템에 옮기는 것은 Talend 를 활용하였다. 이 방식을 사용하면 다음과 같은 이점이 있다.
1) 여러개에 나뉘어 저장된 소스 데이터를 하나의 시스템에서 파악할 수 있음.
2) 소스의 DBMS가 다른 경우 각 데이터를 조작할 때 사용되는 쿼리 문법 다른데 위 방법을 사용하면 하나의 통일된 방법으로 모든 소스 데이터를 조작할 수 있음.
3) 소스 데이터가 여러 시스템으로 구분된 경우 Data Migration 작업 후 필수로 진행되는 검증 작업이 까다로울 수 있으나 위 방법을 사용하면 비교적 간단하게 검증 가능함. (1차 검증: 모든 소스 데이터가 staging 으로 정상 이관 여부 검증, 2차 검증: staging 데이터가 ETL 룰에 따라 실제 타겟 시스템에 정상 이관 여부 검증)
실제 Talend 를 사용하여 위와 같은 구조를 따라 ETL 작업을 진행하는 방법은 다른 여러 포스팅에서 상세하게 다루었으니 참고하면 된다.
2021.04.08 - [TALEND] - [TALEND] 케이스 별 ETL 작업 유형
[TALEND] 케이스 별 ETL 작업 유형
이번 포스팅에서는 Talend 활용법과 더불어 Data Migration 작업을 수행하며 마주한 여러 ETL 시나리오 별 작업 유형에 대해 얘기해보려고 한다. 테이블의 성격이나 작업의 요구 조건에 따라 크게 세
doneisbetterthanperfect.tistory.com
2021.04.07 - [TALEND] - [TALEND] 서로 다른 소스 데이터 집계하기
[TALEND] 서로 다른 소스 데이터 집계하기
이번 포스팅에서는 Talend의 새로운 컴포넌트를 몇 가지 소개하면서 실무에서 활용한 예시를 살펴보겠다. 먼저 소개할 컴포넌트는 다음과 같다. 1. tAggregateRow: input 데이터에 대하여 count, max, avg 등
doneisbetterthanperfect.tistory.com
2020.03.30 - [TALEND] - [TALEND] 두 개의 테이블에 나눠진 데이터를 하나의 테이블로 이관하는 방법
[TALEND] 두 개의 테이블에 나눠진 데이터를 하나의 테이블로 이관하는 방법
이번 포스팅에서는 A BD의 데이터를 B BD의 테이블에 이관하는 방법을 다룬 앞선 포스팅의 심화라고 할 수 있다. 두 개의 테이블에 나뉘어 저장된 데이터를 하나의 output DB에 한꺼번에 이관하는 방
doneisbetterthanperfect.tistory.com
이번 포스팅은 1 대 1이관, 2 대 1이관 등이 아닌 비교적 복잡한 ETL 작업의 경우 각 단계를 세분화하여 간단하게 처리할 수 있는 작업 방식을 소개해보았다.