目次 x
    dbtジョブ設定
      • 印刷
      • PDF
      目次

      dbtジョブ設定

        • 印刷
        • PDF
        記事の要約

        概要

        本記事では、dbtジョブ設定について説明します。

        設定項目一覧

        共通設定

        項目名必須デフォルト値内容
        名前✓-dbtジョブ設定の名前を入力します。
        メモ--dbtジョブ設定のメモを入力できます。
        dbtリポジトリ✓-TROCCOに連携したdbt Gitリポジトリを選択します。
        実行コマンド✓dbt build実行コマンドを選択します。
        オプションとその値を設定することもできます。
        詳しくは、対応するdbtコマンドを参照ください。
        スレッド数✓1dbtが一度に処理できるモデルの数を設定します。
        設定できるスレッド数の上限は16です。
        スレッド数について、詳しくはunderstanding-threadsを参照ください。
        ターゲット--dbtジョブ実行後に生成されるprofiles.yml内のtargetの値を指定できます。
        クエリ内で条件分岐させたい場合のフラグとしてtargetの値を活用する、といったこともできます。
        なお、未入力の場合、targetにはtrocco_defaultという値が渡されます。
        詳しくは、Custom target namesを参照ください。
        スレッド数

        dbtコマンドが実行されるときは、まずモデル間のリンクの有向無サイクルグラフ（DAG）が作成されます。
        スレッド数では、dbtが一度に処理できるグラフのパスの最大数を指定します。

        なお、一般的にはスレッド数を増やすことで実行時間は短くなりますが、その一方でアダプターに対する負荷が増加します。
        したがって、最適なスレッド数は、データウェアハウスとその構成に依存します。

        アダプターごとの設定項目

        dbt Gitリポジトリで設定したアダプターによって以降の設定項目は異なります。

        アダプターがGoogle BigQueryの場合

        項目名必須内容
        Google BigQuery接続情報✓Google BigQueryの接続情報を選択します。
        詳しくはBigQueryの接続情報をご参照ください。
        データセット✓データ出力先のデータセット名を入力します。
        ロケーション-データ出力先のデータセットのロケーションを入力できます。
        ロケーションを入力しなかった場合、指定したデータセットが出力先に存在しなかったときは、US（マルチリージョン）がデータセットのロケーションに指定されます。

        アダプターがSnowflakeの場合

        項目名必須内容
        Snowflake接続情報✓Snowflakeの接続情報を選択します。
        詳しくはSnowflakeの接続情報を参照ください。
        なお、接続情報の認証方式には「ユーザー・パスワード認証」と「キーペア認証」のいずれも使用できます。
        ウェアハウス✓処理に利用するウェアハウス名を入力します。
        データベース✓データ出力先のデータベース名を入力します。
        スキーマ✓データ出力先のスキーマ名を入力します。
        ロール-Snowflakeを利用する上で必要な権限をまとめたロール名を入力します。
        ロールについて、詳しくはSnowflakeの接続情報の補足を参照ください。

        アダプターがAmazon Redshiftの場合

        項目名必須内容
        Redshift接続情報✓Amazon Redshiftの接続情報を選択します。
        詳しくは、Amazon Redshiftの接続情報をご参照ください。
        データベース✓データ出力先のデータベース名を入力します。
        スキーマ✓データ出力先のスキーマ名を入力します。

        対応するdbtコマンド

        以下は、TROCCOが対応しているdbtコマンドです。
        dbtコマンドについて、詳しくはdbt Command referenceを参照ください。

        dbtコマンドに付帯する機能

        TROCCOでは、dbtコマンドに対して、オプション引数およびカスタム変数を利用できます。

        コマンド名概要
        dbt buildプロジェクト内の全リソースをビルドします。
        dbt depsパッケージをインストールします。
        dbt runモデルファイルを実行します。
        dbt seedアダプターにCSVファイルを転送します。
        dbt snapshotsnapshotジョブを実行します。
        dbt testテストを実行します。
        dbt run-operationマクロを実行します。
        下記枠にマクロ名を入力してください。
        image

        dbtジョブ設定の各種操作

        dbtジョブ設定一覧画面

        005-p.png

        dbtジョブ設定詳細画面

        image

        dbtジョブ設定の複製

        dbtジョブ設定は複製できません。

        ① 新規追加

        dbtジョブ設定を新規追加します。新規作成画面が表示されます。

        ② 編集

        dbtジョブ設定を編集します。詳細画面が表示されます。

        ③ 実行

        dbtジョブを実行します。実行画面が表示されます。

        ④ 削除

        dbtジョブ設定を削除します。

        ⑤ 作成者

        チーム機能をご利用の場合、dbtジョブ設定の作成者は、該当の設定に対してリソースグループ管理者ロールを有するユーザーと同様の操作権限を有します。
        詳しくは、下記の「ロール・パーミッション」を参照ください。

        ロール・パーミッション

        チーム機能をご利用の場合

        dbtジョブ設定は、TROCCOにおいてリソースとして扱われます。

        操作＼ロールリソースグループ管理者リソースグループ編集者リソースグループ運用者リソースグループ閲覧者ロール無し
        dbtジョブ設定の編集✓✓---
        dbtジョブ設定の削除✓✓---
        dbtジョブの実行✓✓✓--
        dbtジョブ設定の閲覧✓✓✓✓-
        dbtジョブ実行履歴の閲覧✓✓✓✓-
        dbtジョブ設定の新規追加✓✓✓✓✓
        この記事は役に立ちましたか?
        What's Next