転送元 - TROCCO
  • 21 May 2024
  • PDF

転送元 - TROCCO

  • PDF

Article Summary

概要

TROCCOで保持しているデータを転送する設定のヘルプページです。
転送元TROCCOでは、以下のいずれかのデータを転送できます。

  • データカタログ
    • データカタログに保持しているメタデータを転送できます。
  • 転送設定データマート定義ワークフロー定義
    • 過去に実行されたジョブに関する履歴データを転送できます。

制約

データカタログについて

データカタログのデータを転送するには、データカタログの有効化が必要になります。

データカタログは有償オプションとなっております。
トライアルを希望される場合や、ご契約を希望される場合は、営業担当者またはカスタマーサクセスまでお問い合わせください。

ジョブ実行履歴を取得できる期間

ジョブ実行履歴の転送を実行する日時を起点に、最大で過去1年前までに実行されたジョブの履歴データを転送できます。
それ以前に実行されたジョブの履歴データは、転送できません。

設定項目

STEP1 基本設定

項目名必須内容
対象Yes転送する対象を以下から選択します。
  • データカタログ
  • 転送設定
  • データマート定義
  • ワークフロー定義
  • データタイプYes転送するデータタイプを以下から選択します。
    • データカタログを選択した場合
      • ユーザー定義メタデータ(BigQueryテーブル情報)
      • ユーザー定義メタデータ(BigQueryカラム情報)
      • カラム参照一覧
    • 転送設定データマート定義ワークフロー定義を選択した場合
      • ジョブ実行履歴

    転送設定データマート定義ワークフロー定義を選択した場合

    項目名必須内容
    データ取得期間Yes転送したいデータの開始日時と終了日時を入力します。
    YYYY-MM-DDまたはYYYY-MM-DD HH:mm:ss形式で入力してください。
    HH:mm:ssを指定しなかった場合、00:00:00が代わりに指定されます。
    タイムゾーンYesデータ取得期間のタイムゾーンを選択します。
    データ取得期間の基準

    データ取得期間は、各ジョブの実行日時(created_at)を基準とします。
    したがって、created_atの値がデータ取得期間内にあるジョブの履歴データが転送対象となります。

    転送項目

    以下は、各対象・各データタイプで転送される項目の一覧です。

    データカタログ

    ユーザー定義メタデータ

    転送できるデータタイプは、以下の2つから選択できます。

    • ユーザー定義メタデータ(BigQueryテーブル情報):
    • ユーザー定義メタデータ(BigQueryカラム情報)
    メタデータ転送対象のテーブル

    基本メタデータユーザー定義メタデータの少なくとも一方が入力済みのテーブル・カラムのメタデータのみ、転送されます。

    カラム名説明
    bigquery_project_idstringBigQueryに関するメタデータのプロジェクト
    bigquery_datasetstringBigQueryに関するメタデータのデータセット
    bigquery_tablestringBigQueryのテーブル名
    bigquery_columnstringBigQueryのカラム名
    データタイプにユーザー定義メタデータ(BigQueryカラム情報) を選択した場合のみ、転送されます。
    trocco_metadata_logical_namestring基本メタデータの論理名
    trocco_metadata_descriptionstring基本メタデータの説明
    trocco_metadata_last_updated_attimestamp基本メタデータの最終更新日時
    ユーザー定義メタデータ用テンプレートで定義したフィールド)(詳細は後述)ユーザー定義メタデータの値
    user_defined_metadata_last_updated_attimestampユーザー定義メタデータの最終更新日時
    ユーザー定義メタデータ用テンプレートで定義したフィールド
    • データ型について
      テンプレートで定義したデータ型は、以下の型に変換されます。

      • String -> string
      • Text(Markdown) -> string
      • Integer -> long
      • Boolean -> boolean
    • カラム名について

      • ユーザー定義メタデータ用テンプレートで定義したフィールド名に英数字以外の文字が使われている場合、転送先のコネクタによっては転送できないことがあります。
      • 上記の場合、転送設定STEP2のカラム定義にて、英数字のみで構成されたカラム名に変更してください。

    カラム参照一覧

    カラム参照一覧を転送します。

    カラム名説明
    bigquery_src_project_idstringBigQueryに関するメタデータのプロジェクト(参照元)
    bigquery_src_datasetstringBigQueryに関するメタデータのデータセット(参照元)
    bigquery_src_tablestringBigQueryのテーブル名(参照元)
    bigquery_src_columnstringBigQueryのカラム名(参照元)
    bigquery_dst_project_idstringBigQueryに関するメタデータのプロジェクト(参照先)
    bigquery_dst_datasetstringBigQueryに関するメタデータのデータセット(参照先)
    bigquery_dst_tablestringBigQueryのテーブル名(参照先)
    bigquery_dst_columnstringBigQueryのカラム名(参照先)
    creation_typestringカラム参照の作成方法
  • 自動定義の場合:trocco_data_source
  • ユーザー定義の場合:user
  • created_bystringカラム参照の作成者のメールアドレス
    last_updated_attimestampカラム参照の最終更新日時

    転送設定

    ジョブ実行履歴

    過去に実行された転送ジョブに関する履歴データを転送します。

    カラム名説明
    job_idlong転送ジョブID
    job_urlstring転送ジョブURL
    job_definition_idlongジョブの元となった転送設定ID
    job_definition_urlstringジョブの元となった転送設定URL
    job_definition_namestringジョブの元となった転送設定名
    executor_typestring転送ジョブの実行方法
  • manual:手動実行
  • scheduler:スケジュール実行
  • workflow:ワークフローのタスクとして実行
  • api:APIによる実行
  • job_dependency:トリガージョブによる実行
  • statusstring転送ジョブのステータス
  • queued:実行待ち
  • setting_up:実行準備中
  • executing:実行中
  • interrupting:実行中断中
  • succeeded:実行完了(成功)
  • error:実行完了(エラー)
  • canceled:実行完了(キャンセル)
  • skipped:実行完了(スキップ)
  • transfer_recordslong転送されたレコード数
    transfer_byteslong | null転送サイズ(バイト)
    skipped_recordslong | nullスキップされたレコード数
    started_attimestamp | null転送ジョブの開始日時(%Y-%m-%d %H:%M:%S %Z
    finished_attimestamp | null転送ジョブの終了日時(%Y-%m-%d %H:%M:%S %Z
    created_attimestamp転送ジョブの実行日時(%Y-%m-%d %H:%M:%S %Z

    データマート定義

    ジョブ実行履歴

    過去に実行されたデータマートジョブに関する履歴データを転送します。

    カラム名説明
    datamart_job_idlongデータマートジョブID
    datamart_job_urlstringデータマートジョブURL
    datamart_definition_idlongジョブの元となったデータマート定義ID
    datamart_definition_urlstringジョブの元となったデータマート定義URL
    datamart_definition_namestringジョブの元となったデータマート定義名
    executor_typestringデータマートジョブの実行方法
  • manual:手動実行
  • scheduler:スケジュール実行
  • workflow:ワークフローのタスクとして実行
  • job_dependency:トリガージョブによる実行
  • statusstringデータマートジョブのステータス
  • queued:実行待ち
  • setting_up:実行準備中
  • executing:実行中
  • interrupting:実行中断中
  • succeeded:実行完了(成功)
  • error:実行完了(エラー)
  • canceled:実行完了(キャンセル)
  • skipped:実行完了(スキップ)
  • transfer_recordslong転送されたレコード数
    started_attimestamp | nullデータマートジョブの開始日時(%Y-%m-%d %H:%M:%S %Z
    finished_attimestamp | nullデータマートジョブの終了日時(%Y-%m-%d %H:%M:%S %Z
    created_attimestampデータマートジョブの実行日時(%Y-%m-%d %H:%M:%S %Z

    ワークフロー定義

    ジョブ実行履歴

    過去に実行されたワークフロージョブに関する履歴データを転送します。

    カラム名説明
    pipeline_job_item_idlongワークフロージョブIDに紐づくユニークID
    pipeline_job_idlongワークフロージョブID
    pipeline_job_urlstringワークフロージョブURL
    pipeline_definition_idlongワークフロージョブの元となったワークフロー定義ID
    pipeline_definition_urlstringワークフロージョブの元となったワークフロー定義URL
    pipeline_definition_namestringワークフロージョブの元となったワークフロー定義名
    executor_typestringワークフロージョブの実行方法
  • manual:手動実行
  • scheduler:スケジュール実行
  • workflow:ワークフローのタスクとして実行
  • api:APIによる実行
  • retry:リトライ実行(停止位置から再実行、またはリトライ設定による再実行)
  • canceled_typestring | nullワークフロージョブのキャンセル方法
  • manual:手動キャンセル
  • workflow:ワークフローによるキャンセル
  • timeout:タイムアウトによるキャンセル
  • statusstringワークフロージョブのステータス
  • queued:実行待ち
  • setting_up:実行準備中
  • executing:実行中
  • interrupting:実行中断中
  • succeeded:実行完了(成功)
  • error:実行完了(エラー)
  • canceled:実行完了(キャンセル)
  • skipped:実行完了(スキップ)
  • retry_waiting:実行完了(エラー)状態からリトライ開始するまでの待ち状態(リトライ回数が設定されている場合のみ)
  • started_attimestamp | nullワークフロージョブの開始日時(%Y-%m-%d %H:%M:%S %Z
    finished_attimestamp | nullワークフロージョブの終了日時(%Y-%m-%d %H:%M:%S %Z
    created_attimestampワークフロージョブの実行日時(%Y-%m-%d %H:%M:%S %Z

    この記事は役に立ちましたか?