転送設定 - その他

概要 転送設定内の転送元で指定可能な「差分転送機能」のDocsです。 差分転送とは 前回転送時からの増分データのみを転送するモードです。 差分転送を有効化した場合、転送時に「どこまで転送したか」を保持します。 そのため前回転送時以降に追加された新しいファイルを特定でき、その増分ファイルのみを転送する挙動となります。 対応コネクタ カラムを利用して差分転送を行うコネクタ 転送元 - MongoDB 転送元 - MySQL 転送元 - Oracle Dat...

概要 スキーマ追従 とは、「転送対象のデータ」と「転送先コネクタ側のテーブル」との間でスキーマの差分が発生した場合に、転送先コネクタ側テーブルのスキーマを自動修正して、スキーマの差分を解消する機能です。 スキーマの差分が発生するケース 以下は、スキーマの差分が発生する代表的な例の1つです。 転送設定を作成する 転送ジョブを実行し、Google BigQuery側にテーブルが転送される 転送元側のデータのスキーマが変更される（カラムの追加・削除や、カラム名や型の変更...

CDCデータ転送のリニューアル 本機能はCDCデータ転送としてリニューアルされました。 新規にご利用を検討のお客様は、 CDCデータ転送 をご参照ください。 概要 MySQLのbinlogからCDC（Change Data Capture）方式で、変更があったデータのみを識別してBigQueryへ転送できます。 それにより、転送量の削減、転送の高速化が得られます。 最初の実行時には、全件転送する必要がありま...

CDCデータ転送のリニューアル 本機能はCDCデータ転送としてリニューアルされました。 新規にご利用を検討のお客様は、 CDCデータ転送 をご参照ください。 概要 PostgreSQLのWALからCDC（Change Data Capture）方式で、変更があったデータのみを識別してBigQueryへ転送できます。それにより、転送量の削減、転送の高速化が得られます。 最初の実行時には、全件転送する必要がありま...