dbt連携

概要 dbtとは dbtとは、SQLをモジュール化して扱える開発フレームワークです。 Python用テンプレート言語のJinjaと組み合わせることで、より柔軟にデータ変換のコードを記述できます。 対応するデータウェアハウスと接続し、データウェアハウス内のテーブルに対してクエリを実行できます。 クエリ実行段階で自動テストを行うこともできます。 詳しくは、 dbt公式ページ を参照ください。 TROCCOのdbt連携 TROCCOは、dbtのコードを管理する...

概要 dbtジョブを実際に実行する前に、TROCCOにGitリポジトリを連携する必要があります。 本記事では、dbt Gitリポジトリの作成・編集・削除について説明します。 本機能が対応するホスティングサービス dbt連携では、GitリポジトリのホスティングサービスとしてGitHub、GitLabに対応しています。 また、GitHub Enterpriseなどを用いたオンプレミス環境に対しても、ご利用いただけます。...

概要 本記事では、dbtジョブ設定について説明します。 設定項目一覧 共通設定 スレッド数 dbtコマンドが実行されるときは、まずモデル間のリンクの有向無サイクルグラフ（DAG）が作成されます。 スレッド数では、dbtが一度に処理できるグラフのパスの最大数を指定します。 なお、一般的にはスレッド数を増やすことで実行時間は短くなりますが、その一方でアダプターに対する負荷が増加します。 したがって、最...