転送元 - dbt Cloud

Prev Next

本ページでは、dbt Cloudからデータを取得するための設定(転送設定)について説明します。
接続に関する設定については、接続情報 - dbt Cloudを参照ください。

利用上の注意・制約

API制限について

dbt Cloud APIには、レート制限とページネーション制限があります。

:::info(API利用制限)

  • Administrative API(v2/v3)では、1回のリクエストで最大100件までのデータを取得できます
  • 大量のデータを転送する場合は、実行時間に余裕を持って設定してください

:::

認証とアクセス権限

  • 認証したユーザーまたはサービスアカウントがアクセス可能なデータのみ取得できます。
  • Personal Access Token(PAT)を使用する場合、作成したユーザーの権限を継承します。
  • Service Account Tokenを使用する場合、割り当てられた権限の範囲内でデータを取得できます。

APIバージョンについて

dbt Cloudは複数のAPIバージョンを提供しています。

  • API v2: レガシーバージョンですが、v3でまだ提供されていないエンドポイントが含まれています。
  • API v3: リソース管理用の推奨バージョンです。

現在、dbt Cloudではエンドポイントごとにv2またはv3で提供されています。TROCCOでは、v2・v3それぞれで提供されているエンドポイントに対応しています。

取得対象

Jobs(ジョブ)

指定したアカウント内のJobsデータを取得します。
詳しくは、dbt Cloud API v2ドキュメントを参照ください。

設定項目

項目名 必須 デフォルト値 説明
Account ID - 取得対象のアカウントIDを入力します。
Account IDは、dbt Cloudの管理画面URLから確認できます。

取得データ

以下のカラムが取得されます。

カラム名 デフォルトのデータ型 補足事項
id long ジョブID
account_id long 所属するアカウントID
project_id long 所属するプロジェクトID
environment_id long 使用する環境ID
name string ジョブ名
dbt_version string 使用するdbtのバージョン
deferring_environment_id long 遅延参照する環境ID
deferring_job_definition_id long 遅延参照するジョブID
description string ジョブの説明
execute_steps json 実行するdbtコマンドのリスト
execution json 実行設定
generate_docs boolean ドキュメント生成の有効/無効
is_deferrable boolean 遅延可能かどうか
job_type string ジョブタイプ
lifecycle_webhooks_url string ライフサイクルWebhook URL
lifecycle_webhooks boolean ライフサイクルWebhookの有効/無効
raw_dbt_version string 生のdbtバージョン文字列
run_compare_changes boolean 変更比較実行の有効/無効
compare_changes_flags string 変更比較フラグ
run_failure_count long 実行失敗回数
run_generate_sources boolean ソース生成実行の有効/無効
run_lint boolean Lint実行の有効/無効
errors_on_lint_failure boolean Lint失敗時にエラーとするか
settings json ジョブ設定
state long ジョブの状態
triggers_on_draft_pr boolean ドラフトPRでのトリガー有効/無効
triggers json トリガー設定
job_completion_trigger_condition json ジョブ完了トリガー条件
created_at string ジョブの作成日時(ISO 8601形式)
updated_at string ジョブの最終更新日時(ISO 8601形式)
account json アカウント情報
project json プロジェクト情報
environment json 環境情報
schedule json スケジュール設定
generate_sources boolean ソース生成の有効/無効

Notifications(通知)

指定したアカウント内のNotificationsデータを取得します。
詳しくは、dbt Cloud API v2ドキュメントを参照ください。

設定項目

項目名 必須 デフォルト値 説明
Account ID - 取得対象のアカウントIDを入力します。
Account IDは、dbt Cloudの管理画面URLから確認できます。

取得データ

以下のカラムが取得されます。

カラム名 デフォルトのデータ型 補足事項
id long 通知ID
account_id long 所属するアカウントID
user_id long 通知を受け取るユーザーID
type long 通知タイプ
external_email string 外部メールアドレス
slack_channel_id string Slackチャンネル ID
slack_channel_name string Slackチャンネル名
on_cancel json キャンセル時の通知設定
on_failure json 失敗時の通知設定
on_success json 成功時の通知設定
on_warning json 警告時の通知設定
state long 通知の状態
created_at string 通知の作成日時(ISO 8601形式)
updated_at string 通知の最終更新日時(ISO 8601形式)
user json ユーザー情報

Runs(実行履歴)

指定したアカウント内のRunsデータを取得します。
詳しくは、dbt Cloud API v2ドキュメントを参照ください。

設定項目

項目名 必須 デフォルト値 説明
Account ID - 取得対象のアカウントIDを入力します。
Account IDは、dbt Cloudの管理画面URLから確認できます。

取得データ

以下のカラムが取得されます。

カラム名 デフォルトのデータ型 補足事項
id long 実行履歴ID
trigger_id long トリガーID
account_id long 所属するアカウントID
environment_id long 使用する環境ID
project_id long 所属するプロジェクトID
job_definition_id long ジョブ定義ID
status long 実行ステータス
dbt_version string 使用したdbtバージョン
git_branch string Gitブランチ名
git_sha string Git SHA
status_message string ステータスメッセージ
owner_thread_id string オーナースレッドID
executed_by_thread_id string 実行スレッドID
deferring_run_id long 遅延参照する実行ID
artifacts_saved boolean Artifact保存済みフラグ
artifact_s3_path string ArtifactのS3パス
has_docs_generated boolean ドキュメント生成済みフラグ
has_sources_generated boolean ソース生成済みフラグ
notifications_sent boolean 通知送信済みフラグ
blocked_by json ブロック情報
created_at string 実行の作成日時(ISO 8601形式)
updated_at string 実行の最終更新日時(ISO 8601形式)
dequeued_at string キューから取り出された日時(ISO 8601形式)
started_at string 実行開始日時(ISO 8601形式)
finished_at string 実行終了日時(ISO 8601形式)
last_checked_at string 最終チェック日時(ISO 8601形式)
last_heartbeat_at string 最終ハートビート日時(ISO 8601形式)
should_start_at string 実行開始予定日時(ISO 8601形式)
trigger json トリガー情報
job json ジョブ情報
environment json 環境情報
run_steps json 実行ステップ情報
status_humanized string 表示用のステータス
in_progress boolean 実行中フラグ
is_complete boolean 完了フラグ
is_success boolean 成功フラグ
is_error boolean エラーフラグ
is_cancelled boolean キャンセルフラグ
duration string 実行時間
queued_duration string キュー待機時間
run_duration string 実行時間(実行のみ)
duration_humanized string 表示用の実行時間
queued_duration_humanized string 表示用のキュー待機時間
run_duration_humanized string 表示用の実行時間(実行のみ)
created_at_humanized string 表示用の作成日時
finished_at_humanized string 表示用の終了日時
retrying_run_id long リトライ実行ID
can_retry boolean リトライ可能フラグ
retry_not_supported_reason string リトライ不可理由
job_id long ジョブID
is_running boolean 実行中フラグ
href string 実行のURL
used_repo_cache boolean リポジトリキャッシュ使用フラグ

Accounts(アカウント)

Accountsのデータを取得します。
詳しくは、dbt Cloud API v3ドキュメントを参照ください。

設定項目

設定項目はありません。すべてのデータが取得されます。

取得データ

以下のカラムが取得されます。

カラム名 デフォルトのデータ型 補足事項
id long アカウントID
name string アカウント名
plan string 契約プラン
run_slots long 実行スロット数
developer_seats long 開発者シート数
it_seats long ITシート数
explorer_seats long エクスプローラーシート数
read_only_seats long 読み取り専用シート数
locked boolean アカウントロック状態
lock_reason string ロック理由
lock_cause string ロック原因
unlocked_at string ロック解除日時(ISO 8601形式)
pending_cancel boolean キャンセル保留中フラグ
billing_email_address string 請求先メールアドレス
pod_memory_request_mebibytes long Podメモリリクエスト(MiB)
develop_pod_memory_request_mebibytes long 開発用Podメモリリクエスト(MiB)
run_duration_limit_seconds long 実行時間制限(秒)
queue_limit long キュー制限
enterprise_login_slug string エンタープライズログインのslug
business_critical boolean ビジネスクリティカルフラグ
starter_repo_url string スターターリポジトリURL
git_auth_level string Git認証レベル
identifier string 識別子
trial_end_date string トライアル終了日(ISO 8601形式)
static_subdomain string 静的サブドメイン
vanity_subdomain string カスタムサブドメイン
run_locked_until string 実行ロック終了日時(ISO 8601形式)
state long アカウント状態
docs_job_id long ドキュメントジョブID
freshness_job_id long 鮮度チェックジョブID
account_migration_events json アカウント移行イベント情報
groups json グループ情報
created_at string アカウントの作成日時(ISO 8601形式)
updated_at string アカウントの最終更新日時(ISO 8601形式)

Connections(接続情報)

指定したアカウント内のConnectionsデータを取得します。
詳しくは、dbt Cloud API v3ドキュメントを参照ください。

設定項目

項目名 必須 デフォルト値 説明
Account ID - 取得対象のアカウントIDを入力します。
Account IDは、dbt Cloudの管理画面URLから確認できます。

取得データ

以下のカラムが取得されます。

カラム名 デフォルトのデータ型 補足事項
id long 接続ID
created_at string 接続の作成日時(ISO 8601形式)
updated_at string 接続の最終更新日時(ISO 8601形式)
account_id long 所属するアカウントID
name string 接続名
adapter_version string アダプターバージョン
private_link_endpoint_id string プライベートリンクエンドポイントID
is_ssh_tunnel_enabled boolean SSHトンネルの有効/無効
oauth_configuration_id long OAuth設定ID
environment__count long この接続を使用する環境数
platform_metadata_credentials_id long プラットフォームメタデータ認証情報ID

Environments(環境)

指定したアカウント内のEnvironmentsデータを取得します。
詳しくは、dbt Cloud API v3ドキュメントを参照ください。

設定項目

項目名 必須 デフォルト値 説明
Account ID - 取得対象のアカウントIDを入力します。
Account IDは、dbt Cloudの管理画面URLから確認できます。

取得データ

以下のカラムが取得されます。

カラム名 デフォルトのデータ型 補足事項
id long 環境ID
account_id long 所属するアカウントID
project_id long 所属するプロジェクトID
credentials_id long 認証情報ID
connection_id long 接続ID
extended_attributes_id long 拡張属性ID
name string 環境名
dbt_version string dbtバージョン
raw_dbt_version string 生のdbtバージョン文字列
type string 環境タイプ
use_custom_branch boolean カスタムブランチ使用の有効/無効
custom_branch string カスタムブランチ名
supports_docs boolean ドキュメントサポートの有効/無効
deployment_type string デプロイメントタイプ
is_deferrable boolean 遅延可能かどうか
enable_model_query_history boolean モデルクエリ履歴の有効/無効
state long 環境の状態
created_at string 環境の作成日時(ISO 8601形式)
updated_at string 環境の最終更新日時(ISO 8601形式)
project json プロジェクト情報
credentials json 認証情報

Groups(グループ)

指定したアカウント内のGroupsデータを取得します。
詳しくは、dbt Cloud API v3ドキュメントを参照ください。

設定項目

項目名 必須 デフォルト値 説明
Account ID - 取得対象のアカウントIDを入力します。
Account IDは、dbt Cloudの管理画面URLから確認できます。

取得データ

以下のカラムが取得されます。

カラム名 デフォルトのデータ型 補足事項
id long グループID
account_id long 所属するアカウントID
name string グループ名
state long グループの状態
assign_by_default boolean デフォルト割り当ての有効/無効
sso_mapping_groups json SSOマッピンググループ情報
created_at string グループの作成日時(ISO 8601形式)
updated_at string グループの最終更新日時(ISO 8601形式)
group_permissions json グループ権限情報

Projects(プロジェクト)

指定したアカウント内のProjectsデータを取得します。
詳しくは、dbt Cloud API v3ドキュメントを参照ください。

設定項目

項目名 必須 デフォルト値 説明
Account ID - 取得対象のアカウントIDを入力します。
Account IDは、dbt Cloudの管理画面URLから確認できます。

取得データ

以下のカラムが取得されます。

カラム名 デフォルトのデータ型 補足事項
id long プロジェクトID
name string プロジェクト名
account_id long 所属するアカウントID
description string プロジェクトの説明
connection_id long 接続ID
repository_id long リポジトリID
semantic_layer_config_id long セマンティックレイヤー設定ID
state long プロジェクトの状態
dbt_project_subdirectory string dbtプロジェクトのサブディレクトリ
docs_job_id long ドキュメントジョブID
freshness_job_id long 鮮度チェックジョブID
type long プロジェクトタイプ
created_at string プロジェクトの作成日時(ISO 8601形式)
updated_at string プロジェクトの最終更新日時(ISO 8601形式)
connection json 接続情報
environments json 環境情報
repository json リポジトリ情報
group_permissions json グループ権限情報
docs_job json ドキュメントジョブ情報
freshness_job json 鮮度チェックジョブ情報

Repositories(リポジトリ)

指定したアカウント内のRepositoriesデータを取得します。
詳しくは、dbt Cloud API v3ドキュメントを参照ください。

設定項目

項目名 必須 デフォルト値 説明
Account ID - 取得対象のアカウントIDを入力します。
Account IDは、dbt Cloudの管理画面URLから確認できます。
Project ID - 取得対象のプロジェクトIDを入力します。
Project IDは、プロジェクト設定画面のURLから確認できます。

取得データ

以下のカラムが取得されます。

カラム名 デフォルトのデータ型 補足事項
id long リポジトリID
account_id long 所属するアカウントID
project_id long 所属するプロジェクトID
full_name string リポジトリのフルネーム
remote_backend string リモートバックエンド
git_clone_strategy string Gitクローン戦略
deploy_key_id long デプロイキーID
repository_credentials_id long リポジトリ認証情報ID
github_installation_id long GitHubインストールID
github_webhook_id long GitHub Webhook ID
state long リポジトリの状態
private_link_endpoint_id string プライベートリンクエンドポイントID
git_provider_id long Gitプロバイダーロジック ID
github_repo string GitHubリポジトリ
name string リポジトリ名
web_url string URL
created_at string リポジトリの作成日時(ISO 8601形式)
updated_at string リポジトリの最終更新日時(ISO 8601形式)
deploy_key json デプロイキー情報
git_provider json Gitプロバイダー情報
gitlab json GitLab情報

Users(ユーザー)

指定したアカウント内のUsersデータを取得します。
詳しくは、dbt Cloud API v3ドキュメントを参照ください。

設定項目

項目名 必須 デフォルト値 説明
Account ID - 取得対象のアカウントIDを入力します。
Account IDは、dbt Cloudの管理画面URLから確認できます。

取得データ

以下のカラムが取得されます。

カラム名 デフォルトのデータ型 補足事項
id long ユーザーID
first_name string
last_name string
email string メールアドレス
apitoken_last_used string APIトークン最終使用日時(ISO 8601形式)
azure_active_directory_connected boolean Azure Active Directory接続状態
azure_active_directory_token_retrieval_failure boolean Azure Active Directoryトークン取得失敗フラグ
azure_active_directory_username string Azure Active Directoryユーザー名
email_connected boolean メール接続状態
email_verified boolean メール検証済みフラグ
enterprise_connected boolean エンタープライズ接続状態
enterprise_authentication_method string エンタープライズ認証方式
github_connected boolean GitHub接続状態
github_username string GitHubユーザー名
gitlab_connected boolean GitLab接続状態
gitlab_username string GitLabユーザー名
is_active boolean アクティブ状態
is_staff boolean スタッフフラグ
last_login string 最終ログイン日時(ISO 8601形式)
sso_only_user boolean SSOのみのユーザーフラグ
github_token_retrieval_failure boolean GitHubトークン取得失敗フラグ
gitlab_token_retrieval_failure boolean GitLabトークン取得失敗フラグ
created_at string ユーザーの作成日時(ISO 8601形式)
permissions json 権限情報
auth_provider_infos json 認証プロバイダー情報
licenses json ライセンス情報