dbt連携について

概要

dbtとは

dbtとは、SQLをモジュール化して扱える開発フレームワークです。

• Python用テンプレート言語のJinjaと組み合わせることで、より柔軟にデータ変換のコードを記述できます。
• 対応するデータウェアハウスと接続し、データウェアハウス内のテーブルに対してクエリを実行できます。
• クエリ実行段階で自動テストを行うこともできます。

詳しくは、dbt公式ページを参照ください。

troccoのdbt連携

troccoは、dbtのコードを管理するGitリポジトリと連携します。
その上で、リポジトリ上のコードに対してdbtコマンドを実行できるdbtジョブ設定を作成し、実行できます。
作成したdbtジョブは、troccoのワークフロー機能に組み込むことも可能です。

dbt対応バージョン

2023年10月現在、troccoでは、以下のバージョンに対応しています。

• dbt Core v1.6
• dbt Core v1.5
• dbt Core v1.4
• dbt Core v1.3

事前準備

dbtジョブを実際に実行するためには、以下の準備を行う必要があります。
準備手順について、詳しくはリンク先を参照ください。

• dbt Gitリポジトリの追加
• dbtジョブ設定の追加

対応アダプター

dbtでは、dbtが対応するデータウェアハウスのことをアダプターと表記します。
troccoが対応しているアダプターは下記のとおりです。

• Google BigQuery
• Snowflake
• Amazon Redshift