転送設定 - その他

概要 転送設定内の転送元で指定可能な「差分転送機能」のヘルプページです。 差分転送とは 前回転送時からの増分データのみを転送するモードです。 差分転送を有効化した場合、転送時に「どこまで転送したか」を保持します。 そのため前回転送時以降に追加された新しいファイルを特定でき、その増分ファイルのみを転送する挙動となります。 対応コネクタ カラムを利用して差分転送を行うコネクタ 転送元 - MongoDB 転送元 - MySQL 転送元 - Oracle D...

概要 スキーマ追従 とは、「転送対象のデータ」と「転送先コネクタ側のテーブル」との間でスキーマの差分が発生した場合に、転送先コネクタ側テーブルのスキーマを自動修正して、スキーマの差分を解消する機能です。 スキーマの差分が発生するケース 以下は、スキーマの差分が発生する代表的な例の1つです。 転送設定を作成する 転送ジョブを実行し、Google BigQuery側にテーブルが転送される 転送元側のデータのスキーマが変更される（カラムの追加・削除や、カラム名や型の変更...

概要 MySQLのbinlogからCDC（Change Data Capture）方式で、変更があったデータのみを識別してBigQueryへ転送できます。 それにより、転送量の削減、転送の高速化が得られます。 最初の実行時には、全件転送する必要があります。その後転送においては、差分だけをCDC方式で連携します。 必須条件 MySQL 対応表 MySQLのパラメーター設定 [mysqld] binlog_format=ROW binlog_row_image=FU...

概要 PostgreSQLのWALからCDC（Change Data Capture）方式で、変更があったデータのみを識別してBigQueryへ転送できます。それにより、転送量の削減、転送の高速化が得られます。 最初の実行時には、全件転送する必要があります。その後転送においては、差分だけをCDC方式で連携します。 PostgreSQL CDCの利用にあたり 転送設定ごと（CDCで転送するテーブルごと）に、手順に従いご自身でレプリケーションスロットを作成していただく必要があ...