転送元 - TROCCO
- 印刷
- PDF
転送元 - TROCCO
- 印刷
- PDF
記事の要約
この要約は役に立ちましたか?
ご意見いただきありがとうございます
概要
TROCCOで保持しているデータを転送する設定のDocsです。
転送元TROCCOでは、転送設定・データマート定義・ワークフロー定義・ワークフロータスクジョブの過去に実行されたジョブに関する履歴データを転送できます。
制約
ジョブ実行履歴を取得できる期間
ジョブ実行履歴を転送する日時を起点に、最大で過去1年前までに実行されたジョブの履歴データを転送できます。
それ以前に実行されたジョブの履歴データは、転送できません。
設定項目
STEP1 基本設定
| 項目名 | 必須 | 内容 |
|---|---|---|
| 対象 | Yes | 転送する対象を以下から選択します。
|
| データタイプ | Yes | 転送するデータタイプとしてジョブ実行履歴を選択します。 |
| データ取得期間 | Yes | 転送したいデータの開始日時と終了日時を入力します。YYYY-MM-DDまたはYYYY-MM-DD HH:mm:ss形式で入力してください。HH:mm:ssを指定しなかった場合、00:00:00が代わりに指定されます。 |
| タイムゾーン | Yes | データ取得期間のタイムゾーンを選択します。 |
| 実行ログ出力設定 | No | 実行ログ出力の有効・無効を選択します。 有効にした場合、転送項目に実行ログが追加されます。 ワークフロー定義を選択した場合は実行ログは出力できません。 |
出力できる実行ログの期間
実行ログ出力設定を有効にした場合に出力できるのは、以下の日付以降のログとなります。
- 転送設定:2025年4月10日
- データマート定義:2025年3月10日
- ワークフロータスクジョブ:2025年3月3日
データ取得期間の基準
データ取得期間は、各ジョブの実行日時(created_at)を基準とします。
したがって、created_atの値がデータ取得期間内にあるジョブの履歴データが転送対象となります。
実行ログ出力を有効にした際に転送できるデータの期間
実行ログ出力を有効にした場合、転送できるデータは最大90日となります。
データ取得期間に90日より大きい範囲を指定した場合、終了日時を起点として90日に自動的に制限されます。
転送項目
以下は、各対象で転送される項目の一覧です。
転送設定
ジョブ実行履歴
過去に実行された転送ジョブに関する履歴データを転送します。
| カラム名 | 型 | 説明 |
|---|---|---|
job_id | long | 転送ジョブID |
job_url | string | 転送ジョブURL |
job_definition_id | long | ジョブの元となった転送設定ID |
job_definition_url | string | ジョブの元となった転送設定URL |
job_definition_name | string | ジョブの元となった転送設定名 |
executor_type | string | 転送ジョブの実行方法
|
status | string | 転送ジョブのステータス
|
transfer_records | long | 転送されたレコード数 |
transfer_bytes | long | null | 転送サイズ(バイト) |
skipped_records | long | null | スキップされたレコード数 |
stdout | string | ジョブの標準出力(実行ログ出力が有効な場合のみ) |
stderr | string | ジョブのエラー出力(実行ログ出力が有効な場合のみ) |
started_at | timestamp | null | 転送ジョブの開始日時(%Y-%m-%d %H:%M:%S %Z) |
finished_at | timestamp | null | 転送ジョブの終了日時(%Y-%m-%d %H:%M:%S %Z) |
created_at | timestamp | 転送ジョブの実行日時(%Y-%m-%d %H:%M:%S %Z) |
データマート定義
ジョブ実行履歴
過去に実行されたデータマートジョブに関する履歴データを転送します。
| カラム名 | 型 | 説明 |
|---|---|---|
datamart_job_id | long | データマートジョブID |
datamart_job_url | string | データマートジョブURL |
datamart_definition_id | long | ジョブの元となったデータマート定義ID |
datamart_definition_url | string | ジョブの元となったデータマート定義URL |
datamart_definition_name | string | ジョブの元となったデータマート定義名 |
executor_type | string | データマートジョブの実行方法
|
status | string | データマートジョブのステータス
|
transfer_records | long | 転送されたレコード数 |
log | string | 実行ログ(実行ログ出力が有効な場合のみ) |
started_at | timestamp | null | データマートジョブの開始日時(%Y-%m-%d %H:%M:%S %Z) |
finished_at | timestamp | null | データマートジョブの終了日時(%Y-%m-%d %H:%M:%S %Z) |
created_at | timestamp | データマートジョブの実行日時(%Y-%m-%d %H:%M:%S %Z) |
ワークフロー定義
ジョブ実行履歴
過去に実行されたワークフロージョブに関する履歴データを転送します。
| カラム名 | 型 | 説明 |
|---|---|---|
pipeline_job_item_id | long | ワークフロージョブIDに紐づくユニークID |
pipeline_job_id | long | ワークフロージョブID |
pipeline_job_url | string | ワークフロージョブURL |
pipeline_definition_id | long | ワークフロージョブの元となったワークフロー定義ID |
pipeline_definition_url | string | ワークフロージョブの元となったワークフロー定義URL |
pipeline_definition_name | string | ワークフロージョブの元となったワークフロー定義名 |
executor_type | string | ワークフロージョブの実行方法
|
canceled_type | string | null | ワークフロージョブのキャンセル方法
|
status | string | ワークフロージョブのステータス
|
started_at | timestamp | null | ワークフロージョブの開始日時(%Y-%m-%d %H:%M:%S %Z) |
finished_at | timestamp | null | ワークフロージョブの終了日時(%Y-%m-%d %H:%M:%S %Z) |
created_at | timestamp | ワークフロージョブの実行日時(%Y-%m-%d %H:%M:%S %Z) |
ワークフロータスクジョブ
ジョブ実行履歴
過去に実行されたワークフロータスクジョブに関する履歴データを転送します。
転送対象外のワークフロータスク
以下のワークフロータスクは実行履歴の転送対象外です。
- TROCCO転送ジョブ
- TROCCO dbtジョブ
- TROCCOデータマートシンク
- TROCCOエージェント
| カラム名 | 型 | 説明 |
|---|---|---|
pipeline_task_job_id | long | ワークフロータスクジョブID |
status | string | ワークフロータスクジョブのステータス
|
log | string | null | タスクジョブのログ(実行ログ出力が有効な場合のみ) |
started_at | timestamp | null | ワークフロータスクジョブの開始日時(%Y-%m-%d %H:%M:%S %Z) |
finished_at | timestamp | null | ワークフロータスクジョブの終了日時(%Y-%m-%d %H:%M:%S %Z) |
created_at | timestamp | ワークフロータスクジョブの作成日時(%Y-%m-%d %H:%M:%S %Z) |
pipeline_task_job_loop_item_id | long | null | カスタム変数ループ実行のジョブID |
loop_item_status | string | null | カスタム変数ループ実行のステータス
|
loop_item_log | string | null | カスタム変数ループ実行のジョブのログ(実行ログ出力が有効な場合のみ) |
loop_item_started_at | timestamp | null | カスタム変数ループ実行のジョブの開始日時(%Y-%m-%d %H:%M:%S %Z) |
loop_item_finished_at | timestamp | null | カスタム変数ループ実行のジョブの終了日時(%Y-%m-%d %H:%M:%S %Z) |
loop_item_created_at | timestamp | null | カスタム変数ループ実行のジョブの作成日時(%Y-%m-%d %H:%M:%S %Z) |
この記事は役に立ちましたか?