TALEND15 [TALEND] 이기종 데이터베이스 이관 이번 포스팅에서는 형식이 서로 다른 2개 이상의 소스 데이터를 하나의 타겟에 이관하는 방법을 알아보자. 이번 토픽은 Talend의 기능에 초점을 맞추기 보다 Data Migration 업무를 수행하며 경험한 위와 같은 케이스를 나름의 방식으로 해결한 과정을 공유해보려고 한다. 우선 나의 경우 DBMS가 다른 두 개의 소스 테이블과 excel 파일 데이터를 타겟 테이블에 이관하는 경우가 있었다. 이때 사용한 방식이 staging 시스템 혹은 (가능한 상황이면) 타겟 시스템에 임시 테이블을 하나 만들어 놓고 소스 데이터를 전부 이관한 후 임시 테이블에서 필요한 ETL 룰을 적용하며 실제 타겟 테이블에 이관하는 방식이다. 즉, 위와 같은 방식으로 작업을 진행하였다. 소스 데이터를 staging 시스템에 옮기는.. 2021. 4. 9. [TALEND] 대용량 테이블 성능 개선 이번 포스팅에서는 Data Migration 업무를 수행하면서 마주한 여러 케이스들 중 대용량 소스 테이블을 타겟 테이블에 이관할 때 발생하는 성능 저하 문제를 해결한 팁들을 공유하려고 한다. 보통 화면에서 자주 사용되는 데이터를 담고있는 테이블의 경우 그 데이터 건수가 많아지면 front 영역에서 해당 데이터를 로딩하는 시간이 오래걸린다. 내 경험 상 Data Migration 중 성능 개선 대상이 된 테이블은 화면에서 사용하는 데이터를 담고 있는 테이블보다는 로그 성 테이블, 배치로 쌓이는 테이블 등이었다. 이러한 테이블의 특징으로는 특별한 ETL cleansing rule이 적용되기 보다는 as-is와 to-be 구조를 동일하게 유지하는 경우가 많았다. 우선 이관 성능을 개선하기 위해 작업을 다음의.. 2021. 4. 8. [TALEND] data migration 작업 유형 이번 포스팅에서는 Talend 활용법과 더불어 Data Migration 작업을 수행하며 마주한 여러 ETL 시나리오 별 작업 유형에 대해 얘기해보려고 한다. 테이블의 성격이나 작업의 요구 조건에 따라 크게 세 가지의 방식으로 구분되었다. 첫번째는 제일 간단하고 쉬운 유형인 소스의 전체 데이터를 타겟 시스템에 이관하는 케이스이다. 이미 여러 다른 포스팅을 통해 이 유형을 다루었다. 제일 많은 케이스인 table-to-table 이관 및 file-to-table 이관에 해당하는 Job의 예시는 다음 사진을 참고하자. 상세 내용은 다음 링크를 참고하면 될 것이다. 2020.03.30 - [TALEND] - [TALEND] Excel 파일 DB 업로드 하는 방법 [TALEND] Excel 파일 DB 업로드 하.. 2021. 4. 8. [TALEND] Talend 내장함수 알아보기 여러가지 툴이 그러하듯 Talend 역시 자체적으로 유용한 내장함수를 가지고 있다. 이는 ETL 프로세스 중 T에 해당하는 data transformation 과정에서 매우 유용하게 사용될 수 있다. Talend의 내장함수는 매우 직관적이고 함수 별 간단한 설명이 나타나기 때문에 사용에 큰 어려움은 없을 것이다. 여러가지 내장함수 중 실무에서 유용하게 사용한 몇가지를 중점으로 소개하고자 한다. 1. IF-ELSE와 NULL HANDLING Data Transformation은 Talend의 컴포넌트 중 소스와 타겟 테이블을 매핑하는 tMap 컴포넌트에서 적용할 수 있다. 위와 같이 소스와 타겟 테이블을 칼럼별로 매핑하고 있는 상황이다. 이때, 소스의 salary 칼럼은 nullable인 반면 타겟의 sa.. 2021. 4. 7. [TALEND] 서로 다른 소스 데이터 집계하기 이번 포스팅에서는 Talend의 새로운 컴포넌트를 몇 가지 소개하면서 실무에서 활용한 예시를 살펴보겠다. 먼저 소개할 컴포넌트는 다음과 같다. 1. tAggregateRow: input 데이터에 대하여 count, max, avg 등의 집계 함수를 사용할 수 있는 컴포넌트이다. 2. tUnite: 서로 다른 두개 이상의 소스 데이터가 동일한 스키마를 가질 때 이를 union해주는 컴포넌트이다. 현재 임직원들의 연봉 및 입사 시기를 포함하는 데이터는 두 개의 소스로 구분되어 있다고 해보자. 1990년 이전까지는 엑셀로 관리되었고 그 이후부터는 database로 관리되고 있다. 금번 프로젝트에서는 이렇게 두 개로 구분된 데이터를 하나의 테이블로 합치는 업무가 주어졌다. 이 작업을 완료한 후 두 개의 소스에 .. 2021. 4. 7. [TALEND] 동적 쿼리 만들기 이번 포스팅에서는 매우 유용한 컴포넌트 몇 가지를 바탕으로 동적 쿼리를 생성하는 방법을 알아보자. 우선 이번에 처음 살펴볼 tFlowToIterate 컴포넌트는 input 데이터를 한줄 한줄 읽어 전역 변수에 저장한다. 우리는 이렇게 전역변수에 저장된 데이터를 가져다 쿼리를 조각하는데 활용할 수 있다. tFlowToIterate를 활용하여 만든 가장 기본적인 job 완성본은 다음과 같다. 일단 개별 컴포넌트를 설명하기 전 작업을 진행할 소스 데이터의 내용은 다음과 같다. 테이블의 데이터는 employees 데이터를 담고 있으며 PK, birth_date, first_name, last_name, gender, hire_date의 여섯개의 칼럼으로 이루어져있다. 위 예시에서는 excel 파일에 저장된 데이.. 2021. 4. 7. Data Migration 업무를 수행하고 배경 운이 좋게도 Data 관련 프로젝트 중 Data Migration 업무를 수행할 기회가 생겼다. Data Migration (데이터 이관)이란 크게 보자면 기존의 데이터 소스를 새로운 스토리지, 시스템 또는 파일 형식으로 변경하는 것을 뜻한다. 데이터는 기업에서 매우 중요하게 다루는 자산일 뿐 아니라 한번 시스템을 구축하고 나면 좀처럼 그 구조를 변경하지 않는다. 구조 변경에 시간과 비용이 많이 들고 전체적인 운영 시스템의 기반이 되는 데이터를 살짝 건들이는 작업이 기존 시스템에 큰 영향을 줄 수 있기 때문이다. 따라서 데이터 이관 작업은 꼼꼼한 사전 계획을 요구하고 데이터 퀄리티에 대한 철저한 검증, 결과에 대한 유효성 테스트 등 까다로운 업무가 뒤따르는 작업이다. 쉽게 경험할 수 없는 위와 같은.. 2021. 4. 6. 이전 1 2 3 다음
