Dynamic Schema1 [TALEND] 동적 파일 스키마 읽어오는 방법 이번 포스팅에서는 파일 등의 비정형 데이터를 input으로 가져올 때 파일의 스키마를 동적으로 읽어오는 방법을 알아보자. 실무에서 사용한 Talend는 커뮤니티 버전으로 Open Source Tool이었다. 이 오픈 소스 버전 Talend는 매우 다양한 기능을 제공하지만 동적 스키마를 읽어오거나 Job에 scheduler를 걸어 특정 시간에 반복되도록 만드는 기능 등은 제공하지 않는다. 하지만 비슷한 기능을 오픈 소스 버전을 이용해서도 만들어 볼 수 있다. 나의 경우는 20여개의 파일을 읽어 DB 테이블에 이관하는 케이스가 있었는데 이때, 파일의 칼럼명 자체를 DB의 한 칼럼에 데이터로서 저장해야했다. 이때, 사용한 방법을 공유하려고 한다. 완성된 Job은 다음과 같다. 칼럼명을 DB에 넣어주는 로직은 .. 2021. 4. 7. 이전 1 다음
