差分転送機能
  • 02 May 2022
  • 1 分で読み終わります
  • ダーク
    ライト

差分転送機能

  • ダーク
    ライト

概要

転送設定内の転送元で指定可能な「差分転送機能」のヘルプページです。

差分転送とは

前回転送時からの増分データのみを転送するモードです。
差分転送を有効化した場合、転送時に「どこまで転送したか」を保持します。
そのため前回転送時以降に追加された新しいファイルを特定することができ、その増分ファイルのみを転送する挙動となります。

初回転送時の挙動

差分転送を指定した場合も、初回転送時は全件転送します。
初回転送時においても、最後に転送されたレコード・パスにファイルパスなどを指定することで、任意のファイル以降のファイルを転送することは可能です。
詳しくは設定値の項目をご参照下さい。

設定値

転送元がデータベース系の場合

転送元がMySQLやPostgreSQLなどのデータベースの場合、列を利用して差分転送を行います。

項目名 説明
テーブル名 データ取得元のテーブルを指定します。
列名 差分転送の元になる列を指定します。
レコードに対してユニークかつAuto IncrementalなID列などがある場合、その列名を指定して下さい。
複数の列名をカンマ区切りで指定することもできます。
最後に転送されたレコード 通常はこのフォームを編集することはありません(troccoが自動で更新します)。
ジョブの実行に異常が発生した場合や、初回転送時に、任意の箇所から転送を実行したい場合のみこのフォームを編集します。
このフォームには「前回転送時にどこまで転送したか」に関する情報を記載します。

転送元がファイル・ストレージの場合

転送元がS3やSFTPなどのファイル・ストレージの場合、パスプレフィックスを利用して差分転送を行います。

項目名 説明
最後に転送せれたレコード 通常はこのフォームを編集することはありません(troccoが自動で更新します)。
ジョブの実行に異常が発生した場合や、初回転送時に、任意の箇所から転送を実行したい場合のみこのフォームを編集します。
このフォームには「前回転送時にどこまで転送したか」に関する情報を記載します。

例えばS3上に以下のファイルがある状態で転送を行うと、最後に転送されたパスに「3.csv」が保存されます。

  • 1.csv
  • 2.csv
  • 3.csv

この状態で4.csvを追加すると、4.csvのみが転送され、最後に転送されたパスに「4.csv」が保存されます。

再実行について

最後に転送されたレコード・パスを編集することで、任意の場所から転送を再開することができます。
ただし、すでに転送されたファイルを再度転送すると、転送先でデータが重複する可能性がありますので、データを削除した上で再実行するようにしてください。


この記事は役に立ちましたか?

What's Next