データカタログ用語集
  • 18 Jun 2024
  • PDF

データカタログ用語集

  • PDF

記事の要約

概要

本ページでは、troccoのデータカタログにおける各用語の定義を説明しています。

データストア

データストアとは、troccoのデータカタログにおいて、アセットを管理する単位のことを指します。
データカタログでは、BigQueryおよびSnowflakeの2種類のデータストアを管理できます。
データカタログは、連携されたデータストアごとにアセットを自動で取り込みます。

データストアの連携方法など、詳しくはデータストア連携管理を参照ください。

アセット一覧

アセット一覧とは、テーブル情報画面左側に表示される、階層構造化されたデータ群のことを指します。
アセット一覧の配下には、個々のアセットが格納されています。

データカタログ管理者

データカタログ管理者とは、それぞれのデータストアを最初に連携したユーザーのことを指します。
troccoのデータカタログは、データカタログ管理者がデータストア連携時に用いたアカウントの認証情報を用いて、アセットを取得します。

アセット

アセットとは、アセット一覧の配下に格納されている各要素のことを指します。
各データストアの階層構造に即した形で格納されています。
具体的には、以下をアセットと定義しており、上から順に階層構造の形でアセット一覧に格納されています。(前者がBigQuery、後者がSnowflake)

  • プロジェクト / データベース
  • データセット / スキーマ
  • テーブル
  • カラム

メタデータ

メタデータとは、それぞれのテーブル・カラムに紐づく関連データのことを指します。
カラム参照カラムリネージもメタデータの一種として扱われます。

メタデータの閲覧・編集

データカタログのユーザーは、アカウントに連携されているデータストア配下のすべてのアセット、およびテーブル・カラムに紐づくすべてのメタデータを閲覧・編集できます。

カラム参照

カラム参照とは、カラム間の対応関係のことを指します。
カラム参照が定義されたテーブル間同士は、ER図にてJOIN分析できます。
カラム参照の定義方法については、カラム参照の手動定義を参照ください。

論理名

論理名とは、アセットに定義された、別名のような概念です。
論理名を定義しておくことで、アセットを識別しやすくする役割があります。
論理名は、データカタログ内のさまざまな箇所で表示されます。

論理名が表示される箇所
  • テーブル情報のアセット名の右隣
  • 検索結果のアセット名の右隣
  • テーブル情報ER図のアセット一覧
  • カラム情報の論理名列の値
  • プレビューのカラム名の直下
  • ER図のテーブル名の直下
  • クエリエディタの入力補完機能内
論理名として扱われる値
データソース名フィールド名(テーブル)フィールド名(カラム)
Google Analyticsに関するメタデータ-フィールド表示名
kintoneに関するメタデータアプリ名フィールド名
Salesforceに関するメタデータ表示ラベル(単数系)日本語列名
Yahoo!検索広告に関するメタデータ-日本語表示名

実データ

実データとは、以下のいずれかの値のことを指します。

  • テーブルに格納されている実際の値
  • テーブルに対し、クエリを実行して生成された各種データ
実データ扱いとなる各種データの例
クエリの実行と課金

実データ扱いとなる各種データは、お客様が管理されるデータストア上でクエリを実行することで、表示しています。
そのため、クエリの実行サイズに基づいて、お客様のデータストアに対して課金が発生します。ご了承ください。

BigQueryのデータストア利用時におけるサンプリング

BigQueryのデータストアをお使いの場合、クエリ当たりの課金金額が10円(ファイルサイズで約15.5GB)を超える場合は、データをサンプリングした上でクエリを実行します

実データの閲覧について

実データの閲覧権限は、データカタログではなく、お客様が管理されるデータストア側にて管理されます。
これは、実データがお客様が管理されるデータストア上でクエリを実行することで生成されているためです。
そのため、データストア連携時に用いたアカウントが、お客様が管理されるデータストア側のテーブルに対してクエリ実行権限を持っていない場合、実データは閲覧できません。
この場合、データストアを管理している方に、閲覧したいテーブルへの権限の付与を依頼してください。


この記事は役に立ちましたか?