CDCデータ転送設定

概要 CDC（Change Data Capture） は、データベース内のデータ変更（INSERT、UPDATE、DELETE）を継続的に取得し、他のデータベースやデータウェアハウスに転送・連携することで、データの一貫性や鮮度を保つ技術です。 主な特長 TROCCOのCDCデータ転送機能では、データソース側（例：MySQL）で発生した変更を 最短5分間隔 で収集し、連携先（例：Amazon S3 Iceberg）への同期処理を実行します。 CDCデータ転送設定を1つ作るだけ...

本ページでは、CDCデータ転送における転送元 - MySQLについて説明します。 接続に関する設定については、 MySQL接続情報 を参照ください。 対応バージョン MySQL 8.x（推奨） MySQL 5.x（サポート予定・未検証） 利用上の注意・制約 ビューの取得には対応していません。 CASCADE削除による子レコードの削除はキャプチャされません。 当該レコードの削除はバイナリログとして書き込まれないため、削除イベント自体を取得できません。 ...

本ページでは、CDCデータ転送における転送元 - PostgreSQLについて説明します。 接続に関する設定については、 PostgreSQL接続情報 を参照ください。 対応バージョン PostgreSQLの論理レプリケーションの仕組みを利用するため、PostgreSQL 10以降が必要です。 用語の説明 WAL（Write-Ahead Log） WAL（Write-Ahead Log）は、トランザクション処理を行う前にその内容が記録されたログのことです。 TROCCO...

本ページでは、CDCデータ転送における転送先 - Amazon S3 Icebergについて説明します。 接続に関する設定については、 Amazon S3接続情報 を参照ください。 対応するCatalog AWS Glue Data Catalogに対応しています。 Glue Catalogによりスキーマ管理が容易になり、また 他エンジンからのクエリにも利用 できます。 リージョンの統一 Glue Catalo...

本ページでは、CDCデータ転送における転送先 - Google BigQueryについて説明します。 接続に関する設定については、 Google BigQuery接続情報 を参照ください。 事前準備 Google Cloud Projectの準備 事前にGoogle Cloud Projectを作成し、BigQuery APIを有効化する必要があります。 データ転送に伴うBigQueryの課金対象 一時テーブ...

概要 スキーマ自動追従とは、データソース側のスキーマ変更を、転送先にも自動追従させる機能です。 転送元のカラムやテーブル追加・変更・削除を転送先で手動設定する運用負荷を減らせるとともに、データの整合性担保も容易になります。 設定できる項目 スキーマ変更通知設定 データソースのスキーマ変更を検知し、Slackやメールで通知するよう設定できます。 CDC転送設定概要にて設定が可能です。 追加されたテーブル・カラムの追従設定 転送先に自動追従させるスキーマ変更の対象を設定...