CDCデータ転送 - 転送先 - Snowflake

本ページでは、CDCデータ転送における転送先 - Snowflakeについて説明します。
接続に関する設定については、接続情報 - Snowflakeを参照ください。

データ転送の仕組み

転送先 - Snowflakeでは、以下の流れでデータを転送します。

1. スキーマ・テーブルの準備：転送先スキーマ（スキーマの自動生成オプションが有効な場合）と生ログスキーマを作成し、転送先テーブルと生ログテーブルを自動作成します。
2. 生ログテーブルへの書き込み：転送元から取得した変更データを、Snowpipe Streamingを利用して生ログテーブルに書き込みます。この処理ではウェアハウスを使用しません。Snowpipe Streamingについて、詳しくはSnowflake公式ドキュメント - Snowpipe Streamingを参照ください。
3. 転送先テーブルへのマージ：転送先設定で指定したウェアハウスを利用して、生ログテーブルの未反映データを転送先テーブルに反映します。差分転送時はMERGEクエリ、全件転送時はCREATE OR REPLACE TABLEクエリを実行します。
4. 反映済みデータの記録：転送先テーブルへ反映した生ログテーブルのレコードに反映済みの印を付け、次回以降の処理対象から除外します。

アーキテクチャ

以下は、転送元 - MySQL・転送先 - Snowflakeにおけるアーキテクチャです。

初回転送（全件転送）時

差分転送時

マージ処理の内容

• 主キーごとに最新の変更イベントのみが転送先テーブルに反映されます。
• 転送元で削除されたレコードは、転送先テーブルからも物理的に削除されます。削除フラグ列を残す論理削除には対応していません。
• 全件転送時のCREATE OR REPLACE TABLEクエリにはCOPY GRANTS句が付与されます。そのため、転送先テーブルに付与した権限はテーブル再作成後も保持されます。

SELECT start_time, query_tag, warehouse_name, total_elapsed_time, query_text
FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_HISTORY
WHERE TRY_PARSE_JSON(query_tag):trocco_job_type = 'cdc'
ORDER BY start_time DESC;

事前準備

Snowflake接続情報の作成

CDCデータ転送では、キーペア認証またはプログラムによるアクセストークン認証のSnowflake接続情報にのみ対応しています。
接続情報の作成手順については、接続情報 - Snowflakeを参照ください。

権限とロールの準備

接続情報で利用するロールに、あらかじめ以下の権限を付与する必要があります。

クエリサンプル

以下の条件を例に、ロールに権限を付与するクエリサンプルをご紹介します。
実際にロールに権限を付与する場合は、適宜内容を読み替えてください。

• 作成するロール：TROCCO_CDC_ROLE
• ロールを付与するユーザー：TROCCO_USER
• 対象ウェアハウス：TROCCO_WAREHOUSE
• 対象データベース：TROCCO_DATABASE
• 対象スキーマ（転送先スキーマ）：ANALYTICS

-- ロールを作成可能なロールに切り替える
USE ROLE ACCOUNTADMIN;

-- ロールを新規作成する
CREATE ROLE TROCCO_CDC_ROLE;

-- 指定したユーザーにロールを使用可能にする
GRANT ROLE TROCCO_CDC_ROLE TO USER TROCCO_USER;

-- ユーザーに対し、作成したロールをデフォルトで使用するロールにする
ALTER USER TROCCO_USER SET DEFAULT_ROLE = TROCCO_CDC_ROLE;

-- ウェアハウスの利用権限をロールに付与する
GRANT USAGE ON WAREHOUSE TROCCO_WAREHOUSE TO ROLE TROCCO_CDC_ROLE;

-- データベースの利用権限をロールに付与する
GRANT USAGE ON DATABASE TROCCO_DATABASE TO ROLE TROCCO_CDC_ROLE;

-- スキーマの作成権限をロールに付与する
GRANT CREATE SCHEMA ON DATABASE TROCCO_DATABASE TO ROLE TROCCO_CDC_ROLE;

-- 既存のスキーマを転送先スキーマとして利用する場合のみ実行する
GRANT USAGE ON SCHEMA TROCCO_DATABASE.ANALYTICS TO ROLE TROCCO_CDC_ROLE;
GRANT CREATE TABLE ON SCHEMA TROCCO_DATABASE.ANALYTICS TO ROLE TROCCO_CDC_ROLE;

設定項目

STEP1 詳細設定

STEP1 転送先設定

以下の設定項目については、転送先 - Snowflakeの該当する項目を参照ください。

• Snowflake接続情報
• ウェアハウス
• データベース
• スキーマ

STEP2 スキーマ設定

転送先カラム型の設定

転送先に出力する際のカラムの型を指定できます。スキーマ設定のカラム設定にて、対象カラムの転送先カラム型のドロップダウンから指定してください。
デフォルトでは、転送元のカラム型から自動マッピングされた型が選択されています。
出力型を変更すると、差分列に型変更ありバッジが表示されます。出力型を元の自動マッピング値に戻すまで、バッジは継続して表示されます。

対応する型変換

選択可能な型は、転送元カラムの型ごとに以下のとおりです。Snowflakeのデータ型表記で記載しています。

注意事項

• 出力型変更が利用できるのは、スキーマ設定タブで選択中のテーブルのみです。未選択テーブルでは出力型ドロップダウンが無効化されます。
• 出力型を変更してスキーマ設定を保存する場合、該当テーブルの全件転送（再読み込み）が必須です。スキーマ設定の保存時に確認モーダルが表示され、保存と同時に全件転送のジョブが作成されます。Snowflake側のテーブルは一度削除され、変更後の出力型で再作成されます。
• 転送元カラムの型変更がCDCで検知された場合は、従来どおり転送先テーブルの型は自動的に追従します。
• timestamp_ntz型はタイムゾーン情報を持たないため、timestamp_tz型へ変換する際はUTCとしてキャストされます。転送元のデータベースが暗黙的にUTC以外のタイムゾーンを前提としてタイムゾーンなしの日時カラムを保持している場合、Snowflake側で意図しない時刻として扱われる可能性があります。
  • タイムゾーンの変更が必要な場合は、Snowflake側の後続処理でタイムゾーン変換を適用してください。

同期対象のテーブル例外について

差分転送において転送ジョブ内の一部テーブルでエラーが発生した場合、エラーが発生したテーブルのみ例外として転送をスキップできます。
エラーが発生したテーブルが存在するジョブは、ジョブ自体は成功しますが「テーブルエラーあり」と表示されます。
失敗回数が連続失敗回数上限を超えた場合、テーブルの転送はスキップされます。

スキップされたテーブルへの対応

スキップされたテーブルを再度転送する場合は、「全件転送（選択テーブル）」または「全件転送（全テーブル）」を実行してください。
転送先のテーブルは一度削除され再作成されます。