転送元 - TROCCO
    • PDF

    転送元 - TROCCO

    • PDF

    記事の要約

    概要

    TROCCOで保持しているデータを転送する設定のDocsです。
    転送元TROCCOでは、転送設定データマート定義ワークフロー定義ワークフロータスクジョブの過去に実行されたジョブに関する履歴データを転送できます。

    制約

    ジョブ実行履歴を取得できる期間

    ジョブ実行履歴を転送する日時を起点に、最大で過去1年前までに実行されたジョブの履歴データを転送できます。
    それ以前に実行されたジョブの履歴データは、転送できません。

    設定項目

    STEP1 基本設定

    項目名必須内容
    対象Yes転送する対象を以下から選択します。
    • 転送設定
    • データマート定義
    • ワークフロー定義
    • ワークフロータスクジョブ
    データタイプYes転送するデータタイプとしてジョブ実行履歴を選択します。
    データ取得期間Yes転送したいデータの開始日時と終了日時を入力します。
    YYYY-MM-DDまたはYYYY-MM-DD HH:mm:ss形式で入力してください。
    HH:mm:ssを指定しなかった場合、00:00:00が代わりに指定されます。
    タイムゾーンYesデータ取得期間のタイムゾーンを選択します。
    実行ログ出力設定No実行ログ出力の有効・無効を選択します。
    有効にした場合、転送項目に実行ログが追加されます。
    ワークフロー定義を選択した場合は実行ログは出力できません。
    出力できる実行ログの期間

    実行ログ出力設定を有効にした場合に出力できるのは、以下の日付以降のログとなります。

    • 転送設定:2025年4月10日
    • データマート定義:2025年3月10日
    • ワークフロータスクジョブ:2025年3月3日
    データ取得期間の基準

    データ取得期間は、各ジョブの実行日時(created_at)を基準とします。
    したがって、created_atの値がデータ取得期間内にあるジョブの履歴データが転送対象となります。

    実行ログ出力を有効にした際に転送できるデータの期間

    実行ログ出力を有効にした場合、転送できるデータは最大90日となります。
    データ取得期間に90日より大きい範囲を指定した場合、終了日時を起点として90日に自動的に制限されます。

    転送項目

    以下は、各対象で転送される項目の一覧です。

    転送設定

    ジョブ実行履歴

    過去に実行された転送ジョブに関する履歴データを転送します。

    カラム名説明
    job_idlong転送ジョブID
    job_urlstring転送ジョブURL
    job_definition_idlongジョブの元となった転送設定ID
    job_definition_urlstringジョブの元となった転送設定URL
    job_definition_namestringジョブの元となった転送設定名
    executor_typestring転送ジョブの実行方法
    • manual:手動実行
    • scheduler:スケジュール実行
    • workflow:ワークフローのタスクとして実行
    • api:APIによる実行
    • job_dependency:トリガージョブによる実行
    statusstring転送ジョブのステータス
    • queued:実行待ち
    • setting_up:実行準備中
    • executing:実行中
    • interrupting:実行中断中
    • succeeded:実行完了(成功)
    • error:実行完了(エラー)
    • canceled:実行完了(キャンセル)
    • skipped:実行完了(スキップ)
    transfer_recordslong転送されたレコード数
    transfer_byteslong | null転送サイズ(バイト)
    skipped_recordslong | nullスキップされたレコード数
    stdoutstringジョブの標準出力(実行ログ出力が有効な場合のみ)
    stderrstringジョブのエラー出力(実行ログ出力が有効な場合のみ)
    started_attimestamp | null転送ジョブの開始日時(%Y-%m-%d %H:%M:%S %Z
    finished_attimestamp | null転送ジョブの終了日時(%Y-%m-%d %H:%M:%S %Z
    created_attimestamp転送ジョブの実行日時(%Y-%m-%d %H:%M:%S %Z

    データマート定義

    ジョブ実行履歴

    過去に実行されたデータマートジョブに関する履歴データを転送します。

    カラム名説明
    datamart_job_idlongデータマートジョブID
    datamart_job_urlstringデータマートジョブURL
    datamart_definition_idlongジョブの元となったデータマート定義ID
    datamart_definition_urlstringジョブの元となったデータマート定義URL
    datamart_definition_namestringジョブの元となったデータマート定義名
    executor_typestringデータマートジョブの実行方法
    • manual:手動実行
    • scheduler:スケジュール実行
    • workflow:ワークフローのタスクとして実行
    • job_dependency:トリガージョブによる実行
    statusstringデータマートジョブのステータス
    • queued:実行待ち
    • setting_up:実行準備中
    • executing:実行中
    • interrupting:実行中断中
    • succeeded:実行完了(成功)
    • error:実行完了(エラー)
    • canceled:実行完了(キャンセル)
    • skipped:実行完了(スキップ)
    transfer_recordslong転送されたレコード数
    logstring実行ログ(実行ログ出力が有効な場合のみ)
    started_attimestamp | nullデータマートジョブの開始日時(%Y-%m-%d %H:%M:%S %Z
    finished_attimestamp | nullデータマートジョブの終了日時(%Y-%m-%d %H:%M:%S %Z
    created_attimestampデータマートジョブの実行日時(%Y-%m-%d %H:%M:%S %Z

    ワークフロー定義

    ジョブ実行履歴

    過去に実行されたワークフロージョブに関する履歴データを転送します。

    カラム名説明
    pipeline_job_item_idlongワークフロージョブIDに紐づくユニークID
    pipeline_job_idlongワークフロージョブID
    pipeline_job_urlstringワークフロージョブURL
    pipeline_definition_idlongワークフロージョブの元となったワークフロー定義ID
    pipeline_definition_urlstringワークフロージョブの元となったワークフロー定義URL
    pipeline_definition_namestringワークフロージョブの元となったワークフロー定義名
    executor_typestringワークフロージョブの実行方法
    • manual:手動実行
    • scheduler:スケジュール実行
    • workflow:ワークフローのタスクとして実行
    • api:APIによる実行
    • retry:リトライ実行(停止位置から再実行、またはリトライ設定による再実行)
    canceled_typestring | nullワークフロージョブのキャンセル方法
    • manual:手動キャンセル
    • workflow:ワークフローによるキャンセル
    • timeout:タイムアウトによるキャンセル
    statusstringワークフロージョブのステータス
    • queued:実行待ち
    • setting_up:実行準備中
    • executing:実行中
    • interrupting:実行中断中
    • succeeded:実行完了(成功)
    • error:実行完了(エラー)
    • canceled:実行完了(キャンセル)
    • skipped:実行完了(スキップ)
    • retry_waiting:実行完了(エラー)状態からリトライ開始するまでの待ち状態(リトライ回数が設定されている場合のみ)
    started_attimestamp | nullワークフロージョブの開始日時(%Y-%m-%d %H:%M:%S %Z
    finished_attimestamp | nullワークフロージョブの終了日時(%Y-%m-%d %H:%M:%S %Z
    created_attimestampワークフロージョブの実行日時(%Y-%m-%d %H:%M:%S %Z

    ワークフロータスクジョブ

    ジョブ実行履歴

    過去に実行されたワークフロータスクジョブに関する履歴データを転送します。

    転送対象外のワークフロータスク

    以下のワークフロータスクは実行履歴の転送対象外です。

    • TROCCO転送ジョブ
    • TROCCO dbtジョブ
    • TROCCOデータマートシンク
    • TROCCOエージェント
    カラム名説明
    pipeline_task_job_idlongワークフロータスクジョブID
    statusstringワークフロータスクジョブのステータス
    • queued:実行待ち
    • setting_up:実行準備中
    • executing:実行中
    • succeeded:実行完了(成功)
    • error:実行完了(エラー)
    • interrupting:実行中断中
    • canceled:実行完了(キャンセル)
    • bypassed:実行完了(バイパス)
    logstring | nullタスクジョブのログ(実行ログ出力が有効な場合のみ)
    started_attimestamp | nullワークフロータスクジョブの開始日時(%Y-%m-%d %H:%M:%S %Z
    finished_attimestamp | nullワークフロータスクジョブの終了日時(%Y-%m-%d %H:%M:%S %Z
    created_attimestampワークフロータスクジョブの作成日時(%Y-%m-%d %H:%M:%S %Z
    pipeline_task_job_loop_item_idlong | nullカスタム変数ループ実行のジョブID
    loop_item_statusstring | nullカスタム変数ループ実行のステータス
    • queued
    • setting_up
    • executing
    • succeeded
    • error
    • interrupting
    • canceled
    loop_item_logstring | nullカスタム変数ループ実行のジョブのログ(実行ログ出力が有効な場合のみ)
    loop_item_started_attimestamp | nullカスタム変数ループ実行のジョブの開始日時(%Y-%m-%d %H:%M:%S %Z
    loop_item_finished_attimestamp | nullカスタム変数ループ実行のジョブの終了日時(%Y-%m-%d %H:%M:%S %Z
    loop_item_created_attimestamp | nullカスタム変数ループ実行のジョブの作成日時(%Y-%m-%d %H:%M:%S %Z

    この記事は役に立ちましたか?