ETL 성능1 [TALEND] 대용량 테이블 성능 개선 이번 포스팅에서는 Data Migration 업무를 수행하면서 마주한 여러 케이스들 중 대용량 소스 테이블을 타겟 테이블에 이관할 때 발생하는 성능 저하 문제를 해결한 팁들을 공유하려고 한다. 보통 화면에서 자주 사용되는 데이터를 담고있는 테이블의 경우 그 데이터 건수가 많아지면 front 영역에서 해당 데이터를 로딩하는 시간이 오래걸린다. 내 경험 상 Data Migration 중 성능 개선 대상이 된 테이블은 화면에서 사용하는 데이터를 담고 있는 테이블보다는 로그 성 테이블, 배치로 쌓이는 테이블 등이었다. 이러한 테이블의 특징으로는 특별한 ETL cleansing rule이 적용되기 보다는 as-is와 to-be 구조를 동일하게 유지하는 경우가 많았다. 우선 이관 성능을 개선하기 위해 작업을 다음의.. 2021. 4. 8. 이전 1 다음
