転送設定 - その他

概要 転送設定内の転送元で指定可能な「差分転送機能」のヘルプページです。 差分転送とは 前回転送時からの増分データのみを転送するモードです。 差分転送を有効化した場合、転送時に「どこまで転送したか」を保持します。 そのため前回転送時以降に追加された新しいファイルを特定でき、その増分ファイルのみを転送する挙動となります。 対応コネクタ カラムを利用して差分転送を行うコネクタ 転送元 - MongoDB 転送元 - MySQL 転送元 - Oracle D...

概要 スキーマ追従 とは、「転送対象のデータ」と「転送先コネクタ側のテーブル」との間でスキーマの差分が発生した場合に、転送先コネクタ側テーブルのスキーマを自動修正して、スキーマの差分を解消する機能です。 スキーマの差分が発生するケース 以下は、スキーマの差分が発生する代表的な例の1つです。 転送設定を作成する 転送ジョブを実行し、Google BigQuery側にテーブルが転送される 転送元側のデータのスキーマが変更される（カラムの追加・削除や、カラム名や型の変更...

概要 MySQLのbinlogからCDC（Change Data Capture）方式で、変更があったデータのみを識別してBigQueryへ転送できます。 それにより、転送量の削減、転送の高速化が得られます。 最初の実行時には、全件転送する必要があります。その後転送においては、差分だけをCDC方式で連携します。 必須条件 MySQL 対応表 MySQLのパラメーター設定 [mysqld] binlog_format=ROW binlog_row_image=FU...

概要 PostgreSQLのWALからCDC（Change Data Capture）方式で、変更があったデータのみを識別してBigQueryへ転送できます。それにより、転送量の削減、転送の高速化が得られます。 最初の実行時には、全件転送する必要があります。その後転送においては、差分だけをCDC方式で連携します。 PostgreSQL CDCの利用にあたり 転送設定ごと（CDCで転送するテーブルごと）に、手順に従いご自身でレプリケーションスロットを作成していただく必要があ...

注意 本設定は、2024年07月01日に新規作成できなくなりました。 上記以前に作成された設定は引き続き有効ですが、将来的に本機能は使用不可となる予定です。 ワークフロー への移行をお願いします。 概要 実行トリガー設定では、データ転送ジョブ、データマート生成ジョブに対する依存関係を作成することができます。 依存関係を作成することで転送ジョブの実行順序や実行条件を制御することが可能です。 例）転送設定A...