転送元 - TROCCO

印刷
共有
PDF

転送元 - TROCCO

印刷
共有
PDF

記事の要約

この要約は役に立ちましたか?

ご意見ありがとうございます

概要

TROCCOで保持しているデータを転送する設定のDocsです。
転送元TROCCOでは、以下のいずれかのデータを転送できます。

データカタログ
- データカタログに保持しているメタデータを転送できます。
転送設定・データマート定義・ワークフロー定義・ワークフロータスクジョブ
- 過去に実行されたジョブに関する履歴データを転送できます。

制約

ジョブ実行履歴を取得できる期間

ジョブ実行履歴を転送する日時を起点に、最大で過去1年前までに実行されたジョブの履歴データを転送できます。
それ以前に実行されたジョブの履歴データは、転送できません。

設定項目

STEP1 基本設定

項目名	必須	内容
対象	Yes	転送する対象を以下から選択します。データカタログ転送設定データマート定義ワークフロー定義ワークフロータスクジョブ
データタイプ	Yes	転送するデータタイプを以下から選択します。データカタログを選択した場合ユーザー定義メタデータ（BigQueryテーブル情報）ユーザー定義メタデータ（BigQueryカラム情報）カラム参照一覧転送設定・データマート定義・ワークフロー定義・ワークフロータスクジョブを選択した場合ジョブ実行履歴

転送設定・データマート定義・ワークフロー定義・ワークフロータスクジョブを選択した場合

項目名	必須	内容
データ取得期間	Yes	転送したいデータの開始日時と終了日時を入力します。 `YYYY-MM-DD`または`YYYY-MM-DD HH:mm:ss`形式で入力してください。 `HH:mm:ss`を指定しなかった場合、`00:00:00`が代わりに指定されます。
タイムゾーン	Yes	データ取得期間のタイムゾーンを選択します。
実行ログ出力設定	No	実行ログ出力の有効・無効を選択します。有効にした場合、転送項目に実行ログが追加されます。ワークフロー定義を選択した場合は実行ログは出力できません。

出力できる実行ログの期間

実行ログ出力設定を有効にした場合に出力できるのは、以下の日付以降のログとなります。

転送設定：2025年4月10日
データマート定義：2025年3月10日
ワークフロータスクジョブ：2025年3月3日

データ取得期間の基準

データ取得期間は、各ジョブの実行日時（created_at）を基準とします。
したがって、created_atの値がデータ取得期間内にあるジョブの履歴データが転送対象となります。

実行ログ出力を有効にした際に転送できるデータの期間

実行ログ出力を有効にした場合、転送できるデータは最大90日となります。
データ取得期間に90日より大きい範囲を指定した場合、終了日時を起点として90日に自動的に制限されます。

転送項目

以下は、各対象・各データタイプで転送される項目の一覧です。

データカタログ

ユーザー定義メタデータ

転送できるデータタイプは、以下の2つから選択できます。

ユーザー定義メタデータ（BigQueryテーブル情報）:
- テーブル情報のメタデータを転送します。
ユーザー定義メタデータ（BigQueryカラム情報）
- カラム情報のメタデータを転送します。

メタデータ転送対象のテーブル

基本メタデータ、ユーザー定義メタデータの少なくとも一方が入力済みのテーブル・カラムのメタデータのみ、転送されます。

カラム名	型	説明
`bigquery_project_id`	`string`	BigQueryに関するメタデータのプロジェクト
`bigquery_dataset`	`string`	BigQueryに関するメタデータのデータセット
`bigquery_table`	`string`	BigQueryのテーブル名
`bigquery_column`	`string`	BigQueryのカラム名データタイプにユーザー定義メタデータ（BigQueryカラム情報）を選択した場合のみ、転送されます。
`trocco_metadata_logical_name`	`string`	基本メタデータの論理名
`trocco_metadata_description`	`string`	基本メタデータの説明
`trocco_metadata_last_updated_at`	`timestamp`	基本メタデータの最終更新日時
（ユーザー定義メタデータ用テンプレートで定義したフィールド）	(詳細は後述)	ユーザー定義メタデータの値
`user_defined_metadata_last_updated_at`	`timestamp`	ユーザー定義メタデータの最終更新日時

ユーザー定義メタデータ用テンプレートで定義したフィールド

データ型について
テンプレートで定義したデータ型は、以下の型に変換されます。
- String -> string
- Text(Markdown) -> string
- Integer -> long
- Boolean -> boolean
カラム名について
- ユーザー定義メタデータ用テンプレートで定義したフィールド名に英数字以外の文字が使われている場合、転送先のコネクタによっては転送できないことがあります。
- 上記の場合、転送設定STEP2のカラム定義にて、英数字のみで構成されたカラム名に変更してください。

カラム参照一覧

カラム参照一覧を転送します。

カラム名	型	説明
`bigquery_src_project_id`	`string`	BigQueryに関するメタデータのプロジェクト（参照元）
`bigquery_src_dataset`	`string`	BigQueryに関するメタデータのデータセット（参照元）
`bigquery_src_table`	`string`	BigQueryのテーブル名（参照元）
`bigquery_src_column`	`string`	BigQueryのカラム名（参照元）
`bigquery_dst_project_id`	`string`	BigQueryに関するメタデータのプロジェクト（参照先）
`bigquery_dst_dataset`	`string`	BigQueryに関するメタデータのデータセット（参照先）
`bigquery_dst_table`	`string`	BigQueryのテーブル名（参照先）
`bigquery_dst_column`	`string`	BigQueryのカラム名（参照先）
`creation_type`	`string`	カラム参照の作成方法自動定義の場合：`trocco_data_source` ユーザー定義の場合：`user`
`created_by`	`string`	カラム参照の作成者のメールアドレス
`last_updated_at`	`timestamp`	カラム参照の最終更新日時

転送設定

ジョブ実行履歴

過去に実行された転送ジョブに関する履歴データを転送します。

カラム名	型	説明
`job_id`	`long`	転送ジョブID
`job_url`	`string`	転送ジョブURL
`job_definition_id`	`long`	ジョブの元となった転送設定ID
`job_definition_url`	`string`	ジョブの元となった転送設定URL
`job_definition_name`	`string`	ジョブの元となった転送設定名
`executor_type`	`string`	転送ジョブの実行方法 `manual`：手動実行 `scheduler`：スケジュール実行 `workflow`：ワークフローのタスクとして実行 `api`：APIによる実行 `job_dependency`：トリガージョブによる実行
`status`	`string`	転送ジョブのステータス `queued`：実行待ち `setting_up`：実行準備中 `executing`：実行中 `interrupting`：実行中断中 `succeeded`：実行完了（成功） `error`：実行完了（エラー） `canceled`：実行完了（キャンセル） `skipped`：実行完了（スキップ）
`transfer_records`	`long`	転送されたレコード数
`transfer_bytes`	`long` \| `null`	転送サイズ（バイト）
`skipped_records`	`long` \| `null`	スキップされたレコード数
`stdout`	`string`	ジョブの標準出力（実行ログ出力が有効な場合のみ）
`stderr`	`string`	ジョブのエラー出力（実行ログ出力が有効な場合のみ）
`started_at`	`timestamp` \| `null`	転送ジョブの開始日時（`%Y-%m-%d %H:%M:%S %Z`）
`finished_at`	`timestamp` \| `null`	転送ジョブの終了日時（`%Y-%m-%d %H:%M:%S %Z`）
`created_at`	`timestamp`	転送ジョブの実行日時（`%Y-%m-%d %H:%M:%S %Z`）

データマート定義

ジョブ実行履歴

過去に実行されたデータマートジョブに関する履歴データを転送します。

カラム名	型	説明
`datamart_job_id`	`long`	データマートジョブID
`datamart_job_url`	`string`	データマートジョブURL
`datamart_definition_id`	`long`	ジョブの元となったデータマート定義ID
`datamart_definition_url`	`string`	ジョブの元となったデータマート定義URL
`datamart_definition_name`	`string`	ジョブの元となったデータマート定義名
`executor_type`	`string`	データマートジョブの実行方法 `manual`：手動実行 `scheduler`：スケジュール実行 `workflow`：ワークフローのタスクとして実行 `job_dependency`：トリガージョブによる実行
`status`	`string`	データマートジョブのステータス `queued`：実行待ち `setting_up`：実行準備中 `executing`：実行中 `interrupting`：実行中断中 `succeeded`：実行完了（成功） `error`：実行完了（エラー） `canceled`：実行完了（キャンセル） `skipped`：実行完了（スキップ）
`transfer_records`	`long`	転送されたレコード数
`log`	`string`	実行ログ（実行ログ出力が有効な場合のみ）
`started_at`	`timestamp` \| `null`	データマートジョブの開始日時（`%Y-%m-%d %H:%M:%S %Z`）
`finished_at`	`timestamp` \| `null`	データマートジョブの終了日時（`%Y-%m-%d %H:%M:%S %Z`）
`created_at`	`timestamp`	データマートジョブの実行日時（`%Y-%m-%d %H:%M:%S %Z`）

ワークフロー定義

ジョブ実行履歴

過去に実行されたワークフロージョブに関する履歴データを転送します。

カラム名	型	説明
`pipeline_job_item_id`	`long`	ワークフロージョブIDに紐づくユニークID
`pipeline_job_id`	`long`	ワークフロージョブID
`pipeline_job_url`	`string`	ワークフロージョブURL
`pipeline_definition_id`	`long`	ワークフロージョブの元となったワークフロー定義ID
`pipeline_definition_url`	`string`	ワークフロージョブの元となったワークフロー定義URL
`pipeline_definition_name`	`string`	ワークフロージョブの元となったワークフロー定義名
`executor_type`	`string`	ワークフロージョブの実行方法 `manual`：手動実行 `scheduler`：スケジュール実行 `workflow`：ワークフローのタスクとして実行 `api`：APIによる実行 `retry`：リトライ実行（停止位置から再実行、またはリトライ設定による再実行）
`canceled_type`	`string` \| `null`	ワークフロージョブのキャンセル方法 `manual`：手動キャンセル `workflow`：ワークフローによるキャンセル `timeout`：タイムアウトによるキャンセル
`status`	`string`	ワークフロージョブのステータス `queued`：実行待ち `setting_up`：実行準備中 `executing`：実行中 `interrupting`：実行中断中 `succeeded`：実行完了（成功） `error`：実行完了（エラー） `canceled`：実行完了（キャンセル） `skipped`：実行完了（スキップ） `retry_waiting`：実行完了（エラー）状態からリトライ開始するまでの待ち状態（リトライ回数が設定されている場合のみ）
`started_at`	`timestamp` \| `null`	ワークフロージョブの開始日時（`%Y-%m-%d %H:%M:%S %Z`）
`finished_at`	`timestamp` \| `null`	ワークフロージョブの終了日時（`%Y-%m-%d %H:%M:%S %Z`）
`created_at`	`timestamp`	ワークフロージョブの実行日時（`%Y-%m-%d %H:%M:%S %Z`）

ワークフロータスクジョブ

ジョブ実行履歴

過去に実行されたワークフロータスクジョブに関する履歴データを転送します。

転送対象外のワークフロータスク

以下のワークフロータスクは実行履歴の転送対象外です。

TROCCO転送ジョブ
TROCCO dbtジョブ
TROCCOデータマートシンク
TROCCOエージェント

カラム名	型	説明
`pipeline_task_job_id`	`long`	ワークフロータスクジョブID
`status`	`string`	ワークフロータスクジョブのステータス `queued`：実行待ち `setting_up`：実行準備中 `executing`：実行中 `succeeded`：実行完了（成功） `error`：実行完了（エラー） `interrupting`：実行中断中 `canceled`：実行完了（キャンセル） `bypassed`：実行完了（バイパス）
`log`	`string` \| `null`	タスクジョブのログ（実行ログ出力が有効な場合のみ）
`started_at`	`timestamp` \| `null`	ワークフロータスクジョブの開始日時（`%Y-%m-%d %H:%M:%S %Z`）
`finished_at`	`timestamp` \| `null`	ワークフロータスクジョブの終了日時（`%Y-%m-%d %H:%M:%S %Z`）
`created_at`	`timestamp`	ワークフロータスクジョブの作成日時（`%Y-%m-%d %H:%M:%S %Z`）
`pipeline_task_job_loop_item_id`	`long` \| `null`	カスタム変数ループ実行のジョブID
`loop_item_status`	`string` \| `null`	カスタム変数ループ実行のステータス `queued` `setting_up` `executing` `succeeded` `error` `interrupting` `canceled`
`loop_item_log`	`string` \| `null`	カスタム変数ループ実行のジョブのログ（実行ログ出力が有効な場合のみ）
`loop_item_started_at`	`timestamp` \| `null`	カスタム変数ループ実行のジョブの開始日時（`%Y-%m-%d %H:%M:%S %Z`）
`loop_item_finished_at`	`timestamp` \| `null`	カスタム変数ループ実行のジョブの終了日時（`%Y-%m-%d %H:%M:%S %Z`）
`loop_item_created_at`	`timestamp` \| `null`	カスタム変数ループ実行のジョブの作成日時（`%Y-%m-%d %H:%M:%S %Z`）

この記事は役に立ちましたか?

What's Next

転送元 - Yahoo!ディスプレイ広告 (運用型)

概要
制約
設定項目
転送項目