ETL2 [TALEND] 이기종 데이터베이스 이관 이번 포스팅에서는 형식이 서로 다른 2개 이상의 소스 데이터를 하나의 타겟에 이관하는 방법을 알아보자. 이번 토픽은 Talend의 기능에 초점을 맞추기 보다 Data Migration 업무를 수행하며 경험한 위와 같은 케이스를 나름의 방식으로 해결한 과정을 공유해보려고 한다. 우선 나의 경우 DBMS가 다른 두 개의 소스 테이블과 excel 파일 데이터를 타겟 테이블에 이관하는 경우가 있었다. 이때 사용한 방식이 staging 시스템 혹은 (가능한 상황이면) 타겟 시스템에 임시 테이블을 하나 만들어 놓고 소스 데이터를 전부 이관한 후 임시 테이블에서 필요한 ETL 룰을 적용하며 실제 타겟 테이블에 이관하는 방식이다. 즉, 위와 같은 방식으로 작업을 진행하였다. 소스 데이터를 staging 시스템에 옮기는.. 2021. 4. 9. [TALEND] Talend 내장함수 알아보기 여러가지 툴이 그러하듯 Talend 역시 자체적으로 유용한 내장함수를 가지고 있다. 이는 ETL 프로세스 중 T에 해당하는 data transformation 과정에서 매우 유용하게 사용될 수 있다. Talend의 내장함수는 매우 직관적이고 함수 별 간단한 설명이 나타나기 때문에 사용에 큰 어려움은 없을 것이다. 여러가지 내장함수 중 실무에서 유용하게 사용한 몇가지를 중점으로 소개하고자 한다. 1. IF-ELSE와 NULL HANDLING Data Transformation은 Talend의 컴포넌트 중 소스와 타겟 테이블을 매핑하는 tMap 컴포넌트에서 적용할 수 있다. 위와 같이 소스와 타겟 테이블을 칼럼별로 매핑하고 있는 상황이다. 이때, 소스의 salary 칼럼은 nullable인 반면 타겟의 sa.. 2021. 4. 7. 이전 1 다음
