差分転送機能

印刷
共有
PDF

記事の要約

この要約は役に立ちましたか?

ご意見ありがとうございます

概要

転送設定内の転送元で指定可能な「差分転送機能」のヘルプページです。

差分転送とは

前回転送時からの増分データのみを転送するモードです。
差分転送を有効化した場合、転送時に「どこまで転送したか」を保持します。
そのため前回転送時以降に追加された新しいファイルを特定でき、その増分ファイルのみを転送する挙動となります。

対応コネクタ

初回転送時の挙動

差分転送を指定した場合も、初回転送時は全件転送します。
初回転送時においても、最後に転送されたレコード・最後に転送されたパス・レコードの更新日時・ファイルの更新日時に値を指定することで、任意のファイル以降のファイルを転送できます。
詳しくは設定値の項目をご参照ください。

設定値

カラムを利用して差分転送を行うコネクタ

カラムを利用して差分転送を行います。
「増分データを判別するカラム」の値が、「最後に転送されたレコード」の値よりも大きいレコードのみ、取得します。

項目名	説明
増分データを判別するカラム	差分転送の元になる列を指定します。レコードに対してユニークかつAuto IncrementalなID列などがある場合、その列名を指定してください。複数の列名をカンマ区切りで指定することもできます。
最後に転送されたレコード	通常はこのフォームを編集することはありません（TROCCOが自動で更新します）。ジョブの実行に異常が発生した場合や、初回転送時に、任意の箇所から転送を実行したい場合のみこのフォームを編集します。このフォームには「前回転送時にどこまで転送したか」に関する情報を記載します。

パスプレフィックスを利用して差分転送を行うコネクタ

パスプレフィックスを利用して差分転送します。
ファイル名を昇順でソートしたときに「最後に転送されたパス」より後になるファイルを増分として判別し、データ取得します。
そのため、ファイルの更新日の増分では判別できないことにご注意ください。

項目名	説明
最後に転送されたパス	通常はこのフォームを編集することはありません（TROCCOが自動で更新します）。ジョブの実行に異常が発生した場合や、初回転送時に、任意の箇所から転送したい場合のみこのフォームを編集します。このフォームには「前回転送時にどこまで転送したか」に関する情報を記載します。

最後に転送されたレコード・最後に転送されたパスの値

これらの値は、それぞれlast_record・last_pathというキーの値として、転送設定STEP3の確認・適用（および変更履歴の最新のリビジョン）に表示されます。
一方で、これらの値は、転送設定詳細画面で確認できるYAML設定ファイルに含まれません。
したがって、Gitリポジトリ連携を行う際は、これらの値はGit連携されません。

差分転送例

たとえば、S3のバケット上に以下のファイルがある状態で転送を行います。

001.csv
002.csv
003.csv

このとき、最後に転送されたパスには、003.csvが保存されます。
この状態で、バケットに000.csvと004.csvが追加し、再度転送を実行したとします。
000.csvは転送されず、004.csvのみが転送されます。
なお、新たに最後に転送されたパスには、004.csvが保存されます。

更新日時を利用して差分転送を行うコネクタ

Google Analytics 4・HubSpot

レコードの更新日時を利用して差分転送を行います。
前回転送時に「更新日時がもっとも新しいレコードの更新日時」を記録しておき、それよりも更新日時が新しいレコードのみを転送します。

項目名説明

最新のレコード更新日時通常はこのフォームを編集することはありません（TROCCOが自動で更新します）。
ジョブの実行に異常が発生した場合や、初回転送時に、任意の時刻以降のデータを転送を実行したい場合のみこのフォームを編集します。
このフォームには「前回転送時にどこまで転送したか」に関する情報を記載します。万一入力される場合は、yyyy-mm-dd HH:MM:SS z形式で入力ください。

項目名	説明
最新のレコード更新日時	通常はこのフォームを編集することはありません（TROCCOが自動で更新します）。ジョブの実行に異常が発生した場合や、初回転送時に、任意の時刻以降のデータを転送を実行したい場合のみこのフォームを編集します。このフォームには「前回転送時にどこまで転送したか」に関する情報を記載します。万一入力される場合は、`yyyy-mm-dd HH:MM:SS z`形式で入力ください。

TROCCO Web行動ログ

ファイルの更新日時を利用して差分転送を行います。
前回転送時に「更新日時がもっとも新しいファイルの更新日時」を記録しておき、それよりも更新日時が新しいファイルのみを転送します。

項目名説明

最後に転送されたファイルの更新日時通常はこのフォームを編集することはありません（TROCCOが自動で更新します）。
ジョブの実行に異常が発生した場合や、初回転送時に、任意の時刻以降のデータを転送を実行したい場合のみこのフォームを編集します。
このフォームには「前回転送時にどこまで転送したか」に関する情報を記載します。万一入力される場合は、yyyy-MM-dd'T'HH:mm:ss.SSSZ形式で入力ください。

項目名	説明
最後に転送されたファイルの更新日時	通常はこのフォームを編集することはありません（TROCCOが自動で更新します）。ジョブの実行に異常が発生した場合や、初回転送時に、任意の時刻以降のデータを転送を実行したい場合のみこのフォームを編集します。このフォームには「前回転送時にどこまで転送したか」に関する情報を記載します。万一入力される場合は、`yyyy-MM-dd'T'HH:mm:ss.SSSZ`形式で入力ください。

任意のデータから転送を再開したい場合

最後に転送されたレコード・最後に転送されたパス・レコードの更新日時・ファイルの更新日時を編集することで、任意の場所から転送を再開できます。
ただし、すでに転送されたファイルを再度転送すると、転送先でデータが重複する可能性があります。適宜データを削除した上で再実行するようにしてください。

この記事は役に立ちましたか?

What's Next

スキーマ追従

概要
差分転送とは
対応コネクタ
初回転送時の挙動
設定値
任意のデータから転送を再開したい場合