スキーマ追従

概要

スキーマ追従とは、「転送対象のデータ」と「転送先コネクタ側のテーブル」との間でスキーマの差分が発生した場合に、転送先コネクタ側テーブルのスキーマを自動修正して、スキーマの差分を解消する機能です。

スキーマの差分が発生するケース

以下は、スキーマの差分が発生する代表的な例の1つです。

1. 転送設定を作成する
2. 転送ジョブを実行し、Google BigQuery側にテーブルが転送される
3. 転送元側のデータのスキーマが変更される（カラムの追加・削除や、カラム名や型の変更など）
4. 転送設定を編集し、STEP2に遷移する際に自動データ設定を行う
   -> 転送設定STEP2のカラム定義に、転送元側データのスキーマが反映される

上記の例などによってスキーマの差分が発生している場合、再度転送ジョブを実行する前に、転送先コネクタ側のテーブルのスキーマを修正する必要があります。（※一部の転送モードでは修正は不要）
ですが、スキーマ追従を利用することで、スキーマの差分を自動で解消できます。

スキーマ追従が検知する差分

以下の差分を検出します。

• カラムの追加
• カラムの削除
• カラムの型の変更

対象コネクタ

スキーマ追従は、以下の転送先コネクタにてご利用いただけます。

• 転送先Google BigQuery
• 転送先Snowflake

なお、転送元コネクタに関しては特段の制約なくご利用いただけます。

利用手順

以下では、転送先Google BigQueryを例に説明します。
前提として、「既存の転送設定を編集し、転送設定STEP2のカラム定義が変更されている状態」からの手順となります。

1. 転送設定STEP3で保存して適用をクリックします。
   以下の画面が表示されます。
   

2. BigQueryにも反映・更新を選択した状態で、変更対象となった各カラムの挙動を指定します。

3. 保存して適用をクリックします。
   転送設定の詳細画面に遷移します。自動でスキーマ追従が実行されます。
   

利用上の制約

各転送先コネクタに共通の制約

• 転送先の設定にてテーブル名などにカスタム変数を埋め込んでいる場合、スキーマ追従を利用することができません。
• 以下の設定によるカラムの追加・削除・変更は、スキーマ追従の対象外となります。
  • 転送設定STEP2の転送日時カラム設定
  • 転送設定STEP2のプログラミングETL
• 転送先コネクタにあるテーブルのスキーマを、troccoを介さずに直接的に変更した場合、スキーマ追従が正しく動作しないことがあります。

転送先Google BigQueryの場合

• スキーマ追従は、以下の転送モードを選択している場合のみご利用いただけます。
  • 追記 (APPEND)
  • 追記 (APPEND DIRECT)
  • 全件洗い替え (DELETE IN ADVANCE)
• 以下のいずれかに該当する場合、スキーマ追従を利用することができません。
  • 転送設定STEP2出力オプションのスキーマ情報をテンプレートとして参照するテーブルを利用している場合
  • 転送先テーブル内にRECORD型のカラムを含む場合

転送先Snowflakeの場合

• スキーマ追従は、以下の転送モードを選択している場合のみご利用いただけます。
  • 追記 (INSERT)
  • 追記 (INSERT DIRECT)
  • UPSERT (MERGE)

補足事項

• スキーマ追従は、troccoの転送設定の情報をもとにスキーマの差分を検出します。
• スキーマ追従は、カラム定義再読み込みやスキーマ変更検知といった機能の利用の有無にかかわらず、利用できます。
• スキーマ追従は、カラムのDescriptionや転送設定の出力オプションの変更（ただしデータ型の変更は除く）などは検出しません。
• 転送先Google BigQueryの場合、スキーマ追従が実行されると、全量のSELECT文クエリが実行されます。その分、Google BigQuery側でスキャンが発生する旨、ご承知ください。