dbt 통합

개요 dbt란? dbt는 SQL을 모듈화하여 다룰 수 있는 개발 프레임워크입니다. * Python용 템플릿 언어인 Jinja와 결합하여 보다 유연하게 데이터 변환 코드를 작성할 수 있습니다. * 해당 데이터웨어하우스와 연결하여 데이터웨어하우스 내 테이블에 대한 쿼리를 실행할 수 있습니다. * 쿼리 실행 단계에서 자동 테스트를 수행할 수도 있습니다. 자세한 내용은 dbt 공식 페이지를 참조하세요. TROCCO의 dbt 연...

개요 dbt 작업을 실제로 실행하기 전에 TROCCO에 Git 리포지토리를 연동해야 합니다. 이 글에서는 dbt Git 리포지토리의 생성, 편집, 삭제에 대해 설명합니다. 본 기능이 지원되는 호스팅 서비스 dbt 연동에서는 Git 리포지토리 호스팅 서비스로 GitHub, GitLab을 지원하고 있다. 또한, GitHub Enterprise 등을 이용한 온프레미스 환경에도 ...

개요 이 글에서는 dbt 작업 설정에 대해 설명합니다. 설정 항목 목록 공통 설정 스레드 수 dbt 명령이 실행되면 먼저 모델 간의 링크에 대한 방향성 무순환 그래프(DAG)가 생성된다. 스레드 수는 dbt가 한 번에 처리할 수 있는 최대 그래프 경로 수를 지정합니다. 일반적으로 스레드 수를 늘리면 실행 시간은 단축되지만, 어댑터에 대한 부하가 증가합니다. ...