dbtジョブ設定
  • 07 May 2024
  • PDF

dbtジョブ設定

  • PDF

記事の要約

概要

本記事では、dbtジョブ設定について説明します。

設定項目一覧

共通設定

項目名必須デフォルト値内容
名前-dbtジョブ設定の名前を入力します。
メモ--dbtジョブ設定のメモを入力できます。
dbtリポジトリ-TROCCOに連携したdbt Gitリポジトリを選択します。
実行コマンドdbt build実行コマンドを選択します。
オプションとその値を設定することもできます。
詳しくは、対応するdbtコマンドを参照ください。
スレッド数1dbtが一度に処理できるモデルの数を設定します。
設定できるスレッド数の上限は16です。
スレッド数について、詳しくはunderstanding-threadsを参照ください。
ターゲット--dbtジョブ実行後に生成されるprofiles.yml内のtargetの値を指定できます。
クエリ内で条件分岐させたい場合のフラグとしてtargetの値を活用する、といったこともできます。
なお、未入力の場合、targetにはtrocco_defaultという値が渡されます。
詳しくは、Custom target namesを参照ください。
スレッド数

dbtコマンドが実行されるときは、まずモデル間のリンクの有向無サイクルグラフ(DAG)が作成されます。
スレッド数では、dbtが一度に処理できるグラフのパスの最大数を指定します。

なお、一般的にはスレッド数を増やすことで実行時間は短くなりますが、その一方でアダプターに対する負荷が増加します。
したがって、最適なスレッド数は、データウェアハウスとその構成に依存します。

アダプターごとの設定項目

dbt Gitリポジトリで設定したアダプターによって以降の設定項目は異なります。

アダプターがGoogle BigQueryの場合

項目名必須内容
Google BigQuery接続情報Google BigQueryの接続情報を選択します。
詳しくはBigQueryの接続情報をご参照ください。
データセットデータ出力先のデータセット名を入力します。
ロケーション-データ出力先のデータセットのロケーションを入力できます。
ロケーションを入力しなかった場合、指定したデータセットが出力先に存在しなかったときは、US(マルチリージョン)がデータセットのロケーションに指定されます。

アダプターがSnowflakeの場合

項目名必須内容
Snowflake接続情報Snowflakeの接続情報を選択します。
詳しくはSnowflakeの接続情報を参照ください。
なお、接続情報の認証方式には「ユーザー・パスワード認証」と「キーペア認証」のいずれも使用できます。
ウェアハウス処理に利用するウェアハウス名を入力します。
データベースデータ出力先のデータベース名を入力します。
スキーマデータ出力先のスキーマ名を入力します。
ロール-Snowflakeを利用する上で必要な権限をまとめたロール名を入力します。
ロールについて、詳しくはSnowflakeの接続情報の補足を参照ください。

アダプターがAmazon Redshiftの場合

項目名必須内容
Redshift接続情報Amazon Redshiftの接続情報を選択します。
詳しくは、Amazon Redshiftの接続情報をご参照ください。
データベースデータ出力先のデータベース名を入力します。
スキーマデータ出力先のスキーマ名を入力します。

対応するdbtコマンド

以下は、TROCCOが対応しているdbtコマンドです。
dbtコマンドについて、詳しくはdbt Command referenceを参照ください。

dbtコマンドに付帯する機能

TROCCOでは、dbtコマンドに対して、オプション引数およびカスタム変数を利用できます。

コマンド名概要
dbt buildプロジェクト内の全リソースをビルドします。
dbt depsパッケージをインストールします。
dbt runモデルファイルを実行します。
dbt seedアダプターにCSVファイルを転送します。
dbt snapshotsnapshotジョブを実行します。
dbt testテストを実行します。
dbt run-operationマクロを実行します。
下記枠にマクロ名を入力してください。
image

dbtジョブ設定の各種操作

dbtジョブ設定一覧画面

005-p.png

dbtジョブ設定詳細画面

image

dbtジョブ設定の複製

dbtジョブ設定は複製できません。

① 新規追加

dbtジョブ設定を新規追加します。新規作成画面が表示されます。

② 編集

dbtジョブ設定を編集します。詳細画面が表示されます。

③ 実行

dbtジョブを実行します。実行画面が表示されます。

④ 削除

dbtジョブ設定を削除します。

⑤ 作成者

チーム機能をご利用の場合、dbtジョブ設定の作成者は、該当の設定に対してリソースグループ管理者ロールを有するユーザーと同様の操作権限を有します。
詳しくは、下記の「ロール・パーミッション」を参照ください。

ロール・パーミッション

チーム機能をご利用の場合

dbtジョブ設定は、TROCCOにおいてリソースとして扱われます。

操作\ロールリソースグループ管理者リソースグループ編集者リソースグループ運用者リソースグループ閲覧者ロール無し
dbtジョブ設定の編集---
dbtジョブ設定の削除---
dbtジョブの実行--
dbtジョブ設定の閲覧-
dbtジョブ実行履歴の閲覧-
dbtジョブ設定の新規追加

この記事は役に立ちましたか?