dbt連携

Prev Next
概要 dbtとは dbtとは、SQLをモジュール化して扱える開発フレームワークです。 Python用テンプレート言語のJinjaと組み合わせることで、より柔軟にデータ変換のコードを記述できます。 対応するデータウェアハウスと接続し、データウェアハウス内のテーブルに対してクエリを実行できます。 クエリ実行段階で自動テストを行うこともできます。 詳しくは、 dbt公式ページ を参照ください。 TROCCOのdbt連携 TROCCOは、dbtのコードを管理する...
概要 dbtジョブを実際に実行する前に、TROCCOにGitリポジトリを連携する必要があります。 設定項目 認証方式について dbt GitリポジトリとGitサーバーとの接続方法として、以下の2つの認証方式から選択できます。 GitHub App方式の制約 GitHub App方式を利用する際は、以下の制約があります。 対応サービス : github.comのみ対応しています。GitHub Enterprise Serverには対応していませ...
概要 本記事では、dbtジョブ設定について説明します。 設定項目一覧 共通設定 スレッド数 dbtコマンドが実行されるときは、まずモデル間のリンクの有向無サイクルグラフ(DAG)が作成されます。 スレッド数では、dbtが一度に処理できるグラフのパスの最大数を指定します。 なお、一般的にはスレッド数を増やすことで実行時間は短くなりますが、その一方でアダプターに対する負荷が増加します。 したがって、最...
概要 dbtコマンドの差分実行は、過去のdbtジョブで生成された成果物( manifest.json 、 run_results.json )と比較して、変更のあったモデルや前回失敗したモデルのみを選択的に実行する機能です。 大規模なdbtプロジェクトにおいて、コマンドの実行時間を短縮できます。 差分実行は、dbtのstateメソッドの仕組みを利用しています。 詳しくは、 dbt公式ドキュメント - The "state" method を参照ください。 TROCCOでは、dbt...