転送元 - trocco

Article Summary

概要

troccoで保持しているデータを転送する設定のヘルプページです。
転送元troccoでは、以下のいずれかのデータを転送できます。

補足

データカタログのデータを転送するには、データカタログ機能の有効化が必要になります。
ご利用になる場合は、営業担当者またはカスタマーサクセスまでお問い合わせください。

転送できるジョブ実行履歴

転送ジョブに関する実行履歴のみ、転送できます。
データマートジョブ、ワークフロージョブ、dbtジョブに関する実行履歴は転送できません。

ジョブ実行履歴を取得できる期間

ジョブ実行履歴の転送実行日時を起点に、最大で過去1年前までに実行されたジョブの履歴データを転送できます。
それ以前に実行されたジョブの履歴データは、転送できません。

項目名	必須	内容
対象	Yes	転送する対象を以下から選択します。データカタログ転送設定
データタイプ	Yes	転送するデータタイプを以下から選択します。データカタログを選択した場合ユーザー定義メタデータ（BigQueryテーブル情報）ユーザー定義メタデータ（BigQueryカラム情報）カラム参照一覧転送設定を選択した場合ジョブ実行履歴
データ取得期間	Yes	転送設定を選択した場合、転送したいデータの開始日時と終了日時を入力します。 `YYYY-MM-DD`または`YYYY-MM-DD HH:mm:ss`形式で入力してください。 `HH:mm:ss`を指定しなかった場合、`00:00:00`が代わりに指定されます。
タイムゾーン	Yes	転送設定を選択した場合、データ取得期間のタイムゾーンを設定します。

本コネクタに固有の詳細設定はありません。

以下は、各対象・各データタイプで転送される項目の一覧です。

転送できるデータタイプは、以下の2つから選択できます。

メタデータ転送対象のテーブル

基本メタデータ、ユーザー定義メタデータの少なくとも一方が入力済みのテーブル・カラムのメタデータのみ、転送されます。

カラム名	型	説明
`bigquery_project_id`	`string`	BigQueryに関するメタデータのプロジェクト
`bigquery_dataset`	`string`	BigQueryに関するメタデータのデータセット
`bigquery_table`	`string`	BigQueryのテーブル名
`bigquery_column`	`string`	BigQueryのカラム名データタイプにユーザー定義メタデータ（BigQueryカラム情報）を選択した場合のみ、転送されます。
`trocco_metadata_logical_name`	`string`	基本メタデータの論理名
`trocco_metadata_description`	`string`	基本メタデータの説明
`trocco_metadata_last_updated_at`	`timestamp`	基本メタデータの最終更新日時
（ユーザー定義メタデータ用テンプレートで定義したフィールド）	(詳細は後述)	ユーザー定義メタデータの値
`user_defined_metadata_last_updated_at`	`timestamp`	ユーザー定義メタデータの最終更新日時

ユーザー定義メタデータ用テンプレートで定義したフィールド

データ型について
テンプレートで定義したデータ型は、以下の型に変換されます。
- String -> string
- Text(Markdown) -> string
- Integer -> long
- Boolean -> boolean
カラム名について
- ユーザー定義メタデータ用テンプレートで定義したフィールド名に英数字以外の文字が使われている場合、転送先のコネクタによっては転送できないことがあります。
- 上記の場合、転送設定STEP2のカラム定義にて、英数字のみで構成されたカラム名に変更してください。

カラム参照一覧を転送します。

カラム名	型	説明
`bigquery_src_project_id`	`string`	BigQueryに関するメタデータのプロジェクト（参照元）
`bigquery_src_dataset`	`string`	BigQueryに関するメタデータのデータセット（参照元）
`bigquery_src_table`	`string`	BigQueryのテーブル名（参照元）
`bigquery_src_column`	`string`	BigQueryのカラム名（参照元）
`bigquery_dst_project_id`	`string`	BigQueryに関するメタデータのプロジェクト（参照先）
`bigquery_dst_dataset`	`string`	BigQueryに関するメタデータのデータセット（参照先）
`bigquery_dst_table`	`string`	BigQueryのテーブル名（参照先）
`bigquery_dst_column`	`string`	BigQueryのカラム名（参照先）
`creation_type`	`string`	カラム参照の作成方法自動定義の場合：`trocco_data_source` ユーザー定義の場合：`user`
`created_by`	`string`	カラム参照の作成者のメールアドレス
`last_updated_at`	`timestamp`	カラム参照の最終更新日時

過去に実行された転送ジョブに関する履歴データを転送します。

カラム名	型	説明
`job_id`	`long`	転送ジョブのID
`job_url`	`string`	転送ジョブのURL
`job_definition_id`	`long`	転送ジョブの元となった転送設定のID
`job_definition_url`	`string`	転送ジョブの元となった転送設定のURL
`job_definition_name`	`string`	転送ジョブの元となった転送設定の名前
`executor_type`	`string`	転送ジョブの実行方法 `manual`：手動実行 `scheduler`：スケジュール実行 `workflow`：ワークフローのタスクとして実行 `api`：APIによる実行 `job_dependency`：トリガージョブによる実行
`status`	`string`	転送ジョブのステータス `queued`：実行待ち `skipped`：実行完了（スキップ） `setting_up`：実行準備中 `executing`：実行中 `interrupting`：実行中断中 `canceled`：実行完了（キャンセル） `succeeded`：実行完了（成功） `error`：実行完了（エラー）
`transferred_records`	`long`	転送ジョブの転送されたレコード数
`transfer_bytes`	`long`	転送ジョブの転送サイズ（バイト）
`skipped_records`	`long`	転送ジョブのスキップされたレコード数
`started_at`	`timestamp`	転送ジョブの開始日時（`%Y-%m-%d %H:%M:%S %Z`）
`finished_at`	`timestamp`	転送ジョブの終了日時（`%Y-%m-%d %H:%M:%S %Z`）
`created_at`	`timestamp`	転送ジョブの実行日時（`%Y-%m-%d %H:%M:%S %Z`）

この記事は役に立ちましたか?