• TROCCO
  • COMETA
Press CTRL+K to open search

メタデータインポート

Prev Next
This content is currently unavailable in English. You are viewing the default (Ja - 日本語) version.

概要

CSVファイルを用いて、以下をインポートできます。

なお、インポートの結果は画面下部のインポート履歴より確認できます。

metadata-import-v2-2024-08-29-12-40-0

すでにメタデータが入力されていた場合

インポート対象のアセットにメタデータの値がすでに入力されている場合、インポートされた値によって既存の値は上書きされます。

メタデータインポートの制約

必要な権限

メタデータインポートには、以下の権限が必要です。

CSVファイルに関する制約

  • 文字コードはUTF-8を推奨しています。UTF-8以外の文字コードの場合、一部文字が読み取れないことがあります。
  • アップロードできるCSVファイルのファイルサイズは、最大100MBです。
    • ユーザー定義メタデータ・カラム参照のインポートの場合、1ファイルで最大1000行まで入力できます。

インポートデータに関する制約

  • 異なるデータ型のカラム間にカラム参照は追加できません。
  • 異なるBigQueryプロジェクトのカラム間にカラム参照は追加できません。
  • 異なるデータストアのカラム間にカラム参照は追加できません。
  • ユーザー定義メタデータのBoolean型のフィールドに入力できる値は以下のとおりです。いずれも、ダブルクオーテーション("")で囲う必要はありません。
    • 0または1
    • trueまたはfalse
    • TRUEまたはFALSE

CSVファイルのフォーマット

データストアを選択し、CSVテンプレートをダウンロードをクリックしてください。
ダウンロードされたCSVファイルを適宜編集し、アップロードおよびインポートを実行してください。

1行目にフィールド名が入力された状態のCSVがダウンロードされます。
2行目以降に適宜メタデータを入力してください。

基本メタデータ・ユーザー定義メタデータのインポートフォーマット

以下では、データストアごとのCSVファイルの構成を説明しています。

オーナー・ステータス・カテゴリ値に関する制約

オーナー・ステータス・カテゴリ値はメタデータインポートでは入力できません。
画面上から個別に入力してください。

BigQueryのデータストアをお使いの場合

それぞれ、以下のフィールドは必須入力項目となります。

  • データベース基本メタデータ・データベースユーザー定義メタデータの場合
    • project_id
  • スキーマ基本メタデータ・スキーマユーザー定義メタデータの場合
    • project_id,dataset_id
  • テーブル基本メタデータ・テーブルユーザー定義メタデータの場合
    • project_id,dataset_id,table_id
  • カラム基本メタデータ・カラムユーザー定義メタデータの場合
    • project_id,dataset_id,table_id,column_id

以下は、各フィールドの説明です。

カラム名 必須 入力する情報
project_id ✓ プロジェクト名
本フィールドは常に入力必須となります。
dataset_id ✓* データセット名
以下のインポートの場合に入力必須となります。
  • スキーマ基本メタデータ・スキーマユーザー定義メタデータ
  • テーブル基本メタデータ・テーブルユーザー定義メタデータ
  • カラム基本メタデータ・カラムユーザー定義メタデータ
table_id ✓* テーブル名
以下のインポートの場合に入力必須となります。
  • テーブル基本メタデータ・テーブルユーザー定義メタデータ
  • カラム基本メタデータ・カラムユーザー定義メタデータ
column_id ✓* テーブルに紐づくカラム名
以下のインポートの場合に入力必須となります。
  • カラム基本メタデータ・カラムユーザー定義メタデータ
logical_name - 論理名フィールドに入力したい値
基本メタデータのインポートの場合に入力できます。
フィールドを指定して値を空欄にした場合、既存データは空で上書きされます。
フィールド自体を省略した場合、既存データが保持されます。
description - 説明フィールドに入力したい値
基本メタデータのインポートの場合に入力できます。
フィールドを指定して値を空欄にした場合、既存データは空で上書きされます。
フィールド自体を省略した場合、既存データが保持されます。
(ユーザー定義メタデータのフィールド) - ユーザー定義メタデータ用テンプレートで定義されたフィールドに入力したい値
ユーザー定義メタデータの場合に入力できます。
CSVファイルの入力例

以下は、BigQueryのデータストアのテーブル基本メタデータをインポートする場合に用いるCSVファイルの例です。

image

Snowflakeのデータストアをお使いの場合

それぞれ、以下のフィールドは必須入力項目となります。

  • データベース基本メタデータ・データベースユーザー定義メタデータの場合
    • database_name
  • スキーマ基本メタデータ・スキーマユーザー定義メタデータの場合
    • database_name,schema_name
  • テーブル基本メタデータ・テーブルユーザー定義メタデータの場合
    • database_name,schema_name,table_name
  • カラム基本メタデータ・カラムユーザー定義メタデータの場合
    • database_name,schema_name,table_name,column_name

以下は、各フィールドの説明です。

カラム名 必須 入力する情報
database_name ✓ データベース名
本フィールドは常に入力必須となります。
schema_name ✓* スキーマ名
以下のインポートの場合に入力必須となります。
  • スキーマ基本メタデータ・スキーマユーザー定義メタデータ
  • テーブル基本メタデータ・テーブルユーザー定義メタデータ
  • カラム基本メタデータ・カラムユーザー定義メタデータ
table_name ✓* テーブル名
以下のインポートの場合に入力必須となります。
  • テーブル基本メタデータ・テーブルユーザー定義メタデータ
  • カラム基本メタデータ・カラムユーザー定義メタデータ
column_name ✓* テーブルに紐づくカラム名
以下のインポートの場合に入力必須となります。
  • カラム基本メタデータ・カラムユーザー定義メタデータ
logical_name - 論理名フィールドに入力したい値
基本メタデータのインポートの場合に入力できます。
フィールドを指定して値を空欄にした場合、既存データは空で上書きされます。
フィールド自体を省略した場合、既存データが保持されます。
description - 説明フィールドに入力したい値
基本メタデータのインポートの場合に入力できます。
フィールドを指定して値を空欄にした場合、既存データは空で上書きされます。
フィールド自体を省略した場合、既存データが保持されます。
(ユーザー定義メタデータのフィールド) - ユーザー定義メタデータ用テンプレートで定義されたフィールドに入力したい値
ユーザー定義メタデータの場合に入力できます。

カラム参照のインポートフォーマット

BigQueryのデータストアをお使いの場合

以下のフィールドに対して値を入力します。

src_project_id,src_dataset_id,src_table_id,src_column_id,dst_project_id,dst_dataset_id,dst_table_id,dst_column_id

以下は、各フィールドの説明です。

カラム名 必須 入力する情報
src_project_id ✓ 参照元のプロジェクト名
src_dataset_id ✓ 参照元のデータセット名
src_table_id ✓ 参照元のテーブル名
src_column_id ✓ 参照元のカラム名
dst_project_id ✓ 参照先のプロジェクト名
dst_dataset_id ✓ 参照先のデータセット名
dst_table_id ✓ 参照元のテーブル名
dst_column_id ✓ 参照先のカラム名

Snowflakeのデータストアをお使いの場合

以下のフィールドに対して値を入力します。

src_database_name,src_schema_name,src_table_name,src_column_name,dst_database_name,dst_schema_name,dst_table_name,dst_column_name

以下は、各フィールドの説明です。

カラム名 必須 入力する情報
src_database_name ✓ 参照元のデータベース名
src_schema_name ✓ 参照元のスキーマ名
src_table_name ✓ 参照元のテーブル名
src_column_name ✓ 参照元のカラム名
dst_database_name ✓ 参照先のデータベース名
dst_schema_name ✓ 参照先のスキーマ名
dst_table_name ✓ 参照元のテーブル名
dst_column_name ✓ 参照先のカラム名

Tableauメタデータのインポートフォーマット

Tableauメタデータをインポートする場合、インポート対象としてアセット種別を選択します。

  • Tableauワークブック
  • Tableauデータソース
  • Tableauダッシュボード

メタデータエクスポートでエクスポートしたファイルのインポートが前提です。エクスポートしたファイルを編集する形でCSVファイルをご用意ください。

「COMETAへの書き込み」列が⚪︎の項目のみ、COMETAのメタデータとしてインポートされます。

カラム名 COMETAへの書き込み 内容
tableau_id - アセットの特定に使用します。tableau_luidが入力されている場合は、LUIDでアセットを特定します。
tableau_luid - アセットの特定に使用します。空欄の場合は tableau_id でアセットが特定されます。
name - アセットの名前です。
project -
datasource_type - Tableauデータソースのみ存在します。
workbook_name - Tableauデータソース・Tableauダッシュボードのみ存在します。
owner ⚪︎ オーナーを入力します。
status ⚪︎ ステータスを入力します。
unverified・verified・deprecatedのいずれかを入力してください。空欄にすると未設定になります。
description ⚪︎ 説明を入力します。
<asset_type>_ud_<field_name> ⚪︎ Tableauのメタデータテンプレートで設定したメタデータを入力します。
例：ワークブックのsampleフィールドはworkbook_ud_sampleとして入力します。
LUIDが一致しない場合

tableau_luidが入力されていても、一致するアセットが見つからない場合は、tableau_idへのフォールバックは行われません。
別のアセットにメタデータが書き込まれることを防ぐため、該当行はエラーとしてスキップされます。

ユーザー定義列が欠落・不明な場合

テンプレートの変更などにより、CSVに含まれるユーザー定義列がテンプレートに存在しない場合、該当列はスキップされます。

インポートに失敗した場合

インポート履歴のエラーログを表示をクリックし、エラーの原因を確認してください。

metadata-import-v2-2024-08-29-12-40-2