テンプレートETL

概要

転送設定のSTEP2 詳細設定で設定できるテンプレートETLの各項目について説明するヘルプページです。

カラム定義

STEP1で設定した転送元から取得したデータから、列の絞り込みや追加を行い、転送する列を指定します。
元カラムに対して、以下の変更が可能です。

• カラム名
• データ型
• デフォルト値
• 日時フォーマット（日時データの場合）

転送元のカラムに変更があった場合は、カラム定義を再読み込みをクリックすることで最新の定義に更新できます。
詳しくは、カラム定義を再読み込みを参照ください。

JSONカラムを展開

転送元から取得してきたデータのうちフィールドにJSON型の値が格納されている場合、カラム定義の中でJSONカラムを展開を選択できます。
JSONに格納されているデータに対して、カラム名・JSONパス・データ型・日付フォーマット・タイムゾーンを指定することによって、カラムとして展開します。
展開後のカラム名は、他のカラム名と重複しないユニークな値を入力してください。

なお、JSON内に配列が含まれている場合の値の取得については、転送元カラムのJSONに配列が含まれていた際、要素を指定して値を取得する方法を参照ください。

カラム名・データ型の一括変換

選択したカラムの命名規則、およびデータ型を一括で変換できます。
各カラム左側にあるチェックボックスを選択し、一括変換をクリックすると、一括変換のためのダイアログが表示されます。
なお、データ型の変換は、string型への変換にのみ対応しています。

カラム名規則の変換

以下の4種類から選択できます。

フィルター設定

データの行を絞り込むための条件を、AND条件かOR条件で設定します。
条件に合致した行のみが転送されます。
対象カラム名とフィルター値を指定し、以下の演算子を選択できます。

• >
• >=
• <
• <=
• ==
• !=
• start_with
• end_with
• include
• IS NULL
• IS NOT NULL
• REGEXP

マスキング設定

指定したフィールドの指定した部分を * で置換します。
個人情報など元データのまま転送したくない列を、マスキングした状態で転送できます。
マスキングのタイプは4種類あり、それぞれ以下の通りです。

転送日時カラム設定

転送ジョブ実行の開始日時を記録するカラムを追加する場合に設定します。
転送ジョブを実行した日時によるパーティショニングやシャーディングテーブル化をする場合にご利用ください。

転送日時カラムを追加する場合は、転送日時カラムの追加にチェックを入れて、下記項目で出力形式を指定してください。

文字列 正規表現置換

特定のカラムで、指定した正規表現にマッチする部分を別の文字列に置換します。
表記ゆれ修正のためにスペースや記号を削除するなど、データの整形で利用できる機能です。
詳しくは、文字列正規表現置換についてを参照ください。

カラムハッシュ化

個人情報など元データのまま転送したくない列を、SHA-256でハッシュ化したものに変換して転送します。
厳密には暗号化ではない点についてご留意ください。

文字列変換

対象カラム名と変換方法を指定して、String型の文字列を変換します。
全角英数字を半角にしたり、半角カナを全角にするなどの正規化ができます。
詳しくは、文字列変換機能についてを参照ください。

UNIX時間変換

対象カラム名と変換方法を指定して、UNIX時間と日時形式の変換を行います。

変換方法を「UNIX時間 -> 日時」にした場合

変更方法で「UNIX時間 -> 日時(TIMESTAMP型)」または「UNIX時間 -> 日時(STRING型)」を選択した場合の設定項目です。

変換方法を「日時 -> UNIX時間」にした場合

変更方法で「日時(TIMESTAMP型) -> UNIX時間」または「日時(STRING型) -> UNIX時間」を選択した場合の設定項目です。