ETL 검증1 [TALEND] 데이터 정합성 검증하는 방법 이번 포스팅에서는 ETL 과정 자체만큼 중요하다고 볼 수 있는 검증 작업에 대한 얘기를 해보려한다. 데이터의 퀄리티와 ETL 작업 정상 완료 결과를 뒷받침하는 검증 작업은 크게 SQL 쿼리 또는 Talend 툴을 사용하여 진행했다. 내가 진행한 프로젝트에서 사용된 모든 검증 쿼리와 팁들을 공유할 수는 없겠지만 ETL 후 검증 작업에는 어떠한 것들이 포함되는지 그 대략적인 흐름을 공유해 볼 것이다. 1. SQL 쿼리 사용 SQL 쿼리를 사용한 검증은 크게 두 가지로 구분된다. 첫번째는 이관 전후 소스와 타겟 테이블의 데이터 건수를 비교하는 것이다. 전체 데이터 건수를 비교하고 기준 칼럼 별 건수를 비교하는 방식으로 1차 검증이 진행된다. 두번째는 테이블 성격에 따라 cleansing rule을 적용한 경우.. 2021. 4. 8. 이전 1 다음
