CDCデータ転送設定

概要 CDC（Change Data Capture） は、データベース内のデータ変更（INSERT、UPDATE、DELETE）を継続的に取得し、他のデータベースやデータウェアハウスに転送・連携することで、データの一貫性や鮮度を保つ技術です。 主な特長 TROCCOのCDCデータ転送機能では、データソース側（例：MySQL）で発生した変更を 最短5分間隔 で収集し、連携先（例：Amazon S3 Iceberg）への同期処理を実行します。 CDCデータ転送設定を1つ作るだけ...

本ページでは、CDCデータ転送における転送元 - MySQLについて説明します。 接続に関する設定については、 MySQL接続情報 を参照ください。 対応バージョン MySQL 8.x（推奨） MySQL 5.x（サポート予定・未検証） 利用上の注意・制約 ビューの取得には対応していません。 CASCADE削除による子レコードの削除はキャプチャされません。 当該レコードの削除はバイナリログとして書き込まれないため、削除イベント自体を取得できません。 ...

本ページでは、CDCデータ転送における転送先 - Amazon S3 Icebergについて説明します。 接続に関する設定については、 Amazon S3接続情報 を参照ください。 対応するCatalog AWS Glue Data Catalogに対応しています。 Glue Catalogによりスキーマ管理が容易になり、また 他エンジンからのクエリにも利用 できます。 リージョンの統一 Glue Catalo...

本ページでは、CDCデータ転送における転送先 - Google BigQueryについて説明します。 接続に関する設定については、 Google BigQuery接続情報 を参照ください。 事前準備 Google Cloud Projectの準備 事前にGoogle Cloud Projectを作成し、BigQuery APIを有効化する必要があります。 データ転送に伴うBigQueryの課金対象 一時テーブ...

概要 スキーマ自動追従とは、データソース側のスキーマ変更を、転送先にも自動追従させる機能です。 転送元のカラムやテーブル追加・変更・削除を転送先で手動設定する運用負荷を減らせるとともに、データの整合性担保も容易になります。 設定できる項目 スキーマ変更通知設定 データソースのスキーマ変更を検知し、Slackやメールで通知するよう設定できます。 CDC転送設定概要にて設定が可能です。 追加されたテーブル・カラムの追従設定 転送先に自動追従させるスキーマ変更の対象を設定...