転送元 - trocco
  • 29 May 2023
  • 1 分で読み終わります
  • ダーク
    ライト

転送元 - trocco

  • ダーク
    ライト

Article Summary

概要

troccoで保持しているデータを転送する設定のヘルプページです。
転送元troccoでは、以下のいずれかのデータを転送できます。

  • データカタログ
    • データカタログに保持しているメタデータを転送できます。
  • 転送設定
    • 過去に実行された転送ジョブに関する履歴データを転送できます。

制約

補足

データカタログのデータを転送するには、データカタログ機能の有効化が必要になります。
ご利用になる場合は、営業担当者またはカスタマーサクセスまでお問い合わせください。

転送できるジョブ実行履歴

転送ジョブに関する実行履歴のみ、転送できます。
データマートジョブ、ワークフロージョブ、dbtジョブに関する実行履歴は転送できません。

ジョブ実行履歴を取得できる期間

ジョブ実行履歴の転送実行日時を起点に、最大で過去1年前までに実行されたジョブの履歴データを転送できます。
それ以前に実行されたジョブの履歴データは、転送できません。

設定項目

STEP1 基本設定

項目名必須内容
対象Yes転送する対象を以下から選択します。
  • データカタログ
  • 転送設定
  • データタイプYes転送するデータタイプを以下から選択します。
    • データカタログを選択した場合
      • ユーザー定義メタデータ(BigQueryテーブル情報)
      • ユーザー定義メタデータ(BigQueryカラム情報)
      • カラム参照一覧
    • 転送設定を選択した場合
      • ジョブ実行履歴
    データ取得期間Yes転送設定を選択した場合、転送したいデータの開始日時と終了日時を入力します。
    YYYY-MM-DDまたはYYYY-MM-DD HH:mm:ss形式で入力してください。
    HH:mm:ssを指定しなかった場合、00:00:00が代わりに指定されます。
    タイムゾーンYes転送設定を選択した場合、データ取得期間のタイムゾーンを設定します。

    STEP2 詳細設定

    本コネクタに固有の詳細設定はありません。

    転送項目

    以下は、各対象・各データタイプで転送される項目の一覧です。

    データカタログ

    ユーザー定義メタデータ

    転送できるデータタイプは、以下の2つから選択できます。

    • ユーザー定義メタデータ(BigQueryテーブル情報):
    • ユーザー定義メタデータ(BigQueryカラム情報)
    メタデータ転送対象のテーブル

    基本メタデータユーザー定義メタデータの少なくとも一方が入力済みのテーブル・カラムのメタデータのみ、転送されます。

    カラム名説明
    bigquery_project_idstringBigQueryに関するメタデータのプロジェクト
    bigquery_datasetstringBigQueryに関するメタデータのデータセット
    bigquery_tablestringBigQueryのテーブル名
    bigquery_columnstringBigQueryのカラム名
    データタイプにユーザー定義メタデータ(BigQueryカラム情報) を選択した場合のみ、転送されます。
    trocco_metadata_logical_namestring基本メタデータの論理名
    trocco_metadata_descriptionstring基本メタデータの説明
    trocco_metadata_last_updated_attimestamp基本メタデータの最終更新日時
    ユーザー定義メタデータ用テンプレートで定義したフィールド)(詳細は後述)ユーザー定義メタデータの値
    user_defined_metadata_last_updated_attimestampユーザー定義メタデータの最終更新日時
    ユーザー定義メタデータ用テンプレートで定義したフィールド
    • データ型について
      テンプレートで定義したデータ型は、以下の型に変換されます。

      • String -> string
      • Text(Markdown) -> string
      • Integer -> long
      • Boolean -> boolean
    • カラム名について

      • ユーザー定義メタデータ用テンプレートで定義したフィールド名に英数字以外の文字が使われている場合、転送先のコネクタによっては転送できないことがあります。
      • 上記の場合、転送設定STEP2のカラム定義にて、英数字のみで構成されたカラム名に変更してください。

    カラム参照一覧

    カラム参照一覧を転送します。

    カラム名説明
    bigquery_src_project_idstringBigQueryに関するメタデータのプロジェクト(参照元)
    bigquery_src_datasetstringBigQueryに関するメタデータのデータセット(参照元)
    bigquery_src_tablestringBigQueryのテーブル名(参照元)
    bigquery_src_columnstringBigQueryのカラム名(参照元)
    bigquery_dst_project_idstringBigQueryに関するメタデータのプロジェクト(参照先)
    bigquery_dst_datasetstringBigQueryに関するメタデータのデータセット(参照先)
    bigquery_dst_tablestringBigQueryのテーブル名(参照先)
    bigquery_dst_columnstringBigQueryのカラム名(参照先)
    creation_typestringカラム参照の作成方法
  • 自動定義の場合:trocco_data_source
  • ユーザー定義の場合:user
  • created_bystringカラム参照の作成者のメールアドレス
    last_updated_attimestampカラム参照の最終更新日時

    転送設定

    ジョブ実行履歴

    過去に実行された転送ジョブに関する履歴データを転送します。

    カラム名説明
    job_idlong転送ジョブのID
    job_urlstring転送ジョブのURL
    job_definition_idlong転送ジョブの元となった転送設定のID
    job_definition_urlstring転送ジョブの元となった転送設定のURL
    job_definition_namestring転送ジョブの元となった転送設定の名前
    executor_typestring転送ジョブの実行方法
  • manual:手動実行
  • scheduler:スケジュール実行
  • workflow:ワークフローのタスクとして実行
  • api:APIによる実行
  • job_dependency:トリガージョブによる実行
  • statusstring転送ジョブのステータス
  • queued:実行待ち
  • skipped:実行完了(スキップ)
  • setting_up:実行準備中
  • executing:実行中
  • interrupting:実行中断中
  • canceled:実行完了(キャンセル)
  • succeeded:実行完了(成功)
  • error:実行完了(エラー)
  • transferred_recordslong転送ジョブの転送されたレコード数
    transfer_byteslong転送ジョブの転送サイズ(バイト)
    skipped_recordslong転送ジョブのスキップされたレコード数
    started_attimestamp転送ジョブの開始日時(%Y-%m-%d %H:%M:%S %Z
    finished_attimestamp転送ジョブの終了日時(%Y-%m-%d %H:%M:%S %Z
    created_attimestamp転送ジョブの実行日時(%Y-%m-%d %H:%M:%S %Z

    この記事は役に立ちましたか?