- 印刷
- PDF
テンプレートETL
- 印刷
- PDF
概要
転送設定のSTEP2 詳細設定で設定できるテンプレートETLの各項目について説明するヘルプページです。
カラム定義
STEP1で設定した転送元から取得したデータから、列の絞り込みや追加を行い、転送する列を指定します。
元カラムに対して、以下の変更が可能です。
- カラム名
- データ型
- デフォルト値
- 日時フォーマット(日時データの場合)
転送元のカラムに変更があった場合は、カラム定義を再読み込みをクリックすることで最新の定義に更新できます。
詳しくは、カラム定義を再読み込みを参照ください。
JSONカラムを展開
転送元から取得してきたデータのうちフィールドにJSON型の値が格納されている場合、カラム定義の中でJSONカラムを展開を選択できます。
JSONに格納されているデータに対して、カラム名・JSONパス・データ型・日付フォーマット・タイムゾーンを指定することによって、カラムとして展開します。
展開後のカラム名は、他のカラム名と重複しないユニークな値を入力してください。
なお、JSON内に配列が含まれている場合の値の取得については、転送元カラムのJSONに配列が含まれていた際、要素を指定して値を取得する方法を参照ください。
カラム名・データ型の一括変換
選択したカラムの命名規則、およびデータ型を一括で変換できます。
各カラム左側にあるチェックボックスを選択し、一括変換をクリックすると、一括変換のためのダイアログが表示されます。
なお、データ型の変換は、string型への変換にのみ対応しています。
カラム名規則の変換
以下の4種類から選択できます。
変換形式 | 変換例 | 概要 |
---|---|---|
大文字変換 | AccountId -> ACCOUNTID account_id -> ACCOUNT_ID | 小文字を大文字に変換します。 ハイフン( - )やアンダースコア(_ )といった記号文字は維持されます。 |
スネークケース(snake_case)変換 | AccountId -> account_id account id -> account_id | キャメルケースをスネークケースに変換します。 大文字はすべて小文字に変換されます。 なお、半角スペースもアンダースコア( _ )に変換されます。 |
アッパースネークケース(UPPER_SNAKE_CASE)変換 | AccountId -> ACCOUNT_ID account id -> ACCOUNT_ID | キャメルケースをスネークケースに変換します。 小文字はすべて大文字に変換されます。 なお、半角スペースもアンダースコア( _ )に変換されます。 |
サニタイズ(Google BigQueryカラム名互換)変換 | account.id -> account_id account id -> account_id | Google BigQueryのカラム名規則に即した形で変換します。 ドット( . )やハイフン(- )といった記号文字および半角スペースは、アンダースコア(_ )に変換されます。なお、日本語などのマルチバイト文字もアンダースコア( _ )に変換されます。ご注意ください。 |
フィルター設定
データの行を絞り込むための条件を、AND条件かOR条件で設定します。
条件に合致した行のみが転送されます。
対象カラム名とフィルター値を指定し、以下の演算子を選択できます。
>
>=
<
<=
==
!=
start_with
end_with
include
IS NULL
IS NOT NULL
REGEXP
マスキング設定
指定したフィールドの指定した部分を *
で置換します。
個人情報など元データのまま転送したくない列を、マスキングした状態で転送できます。
マスキングのタイプは4種類あり、それぞれ以下の通りです。
タイプ | 説明 |
---|---|
全文字列 | すべて * で置換します。 |
メールアドレス | @マークまでを * で置換します。 |
正規表現 | 正規表現パターンにマッチした箇所を * で置換します。 |
部分文字列 | 開始位置・終了位置を指定して、* で置換します。 |
転送日時カラム設定
転送ジョブ実行の開始日時を記録するカラムを追加する場合に設定します。
転送ジョブを実行した日時によるパーティショニングやシャーディングテーブル化をする場合にご利用ください。
転送日時カラムを追加する場合は、転送日時カラムの追加にチェックを入れて、下記項目で出力形式を指定してください。
項目名 | 説明 |
---|---|
追加するカラム名 | 転送日時を出力するカラム名を入力します。 |
データ型 | データ型を以下から選択します。timestamp string |
フォーマット | 出力する転送日時のフォーマットを指定します。 データ型で string を選択した場合のみ指定可能です。データ型で timestamp を選択した場合は、固定で%Y-%m-%d %H:%M:%S.%N %Z となります。timestamp 型のタイムゾーン指定子(%Z )の扱い方は転送先のサービスによって異なります。プレビューに表示される形式(例: 2023-12-01 15:30:45 UTC )と転送されたタイムスタンプの表示形式は異なる場合があります。 |
タイムゾーン | 出力する転送日時のタイムゾーンを選択します。 データ型で string を選択した場合のみ選択可能です。Etc/UTC Asia/Tokyo 例: Asia/Tokyo を選択した場合%Z にはJST が展開される%z には+0900 (Etc/UTC との時差)が展開されるデータ型で timestamp を選択した場合は、固定でEtc/UTC となります。 |
文字列 正規表現置換
特定のカラムで、指定した正規表現にマッチする部分を別の文字列に置換します。
表記ゆれ修正のためにスペースや記号を削除するなど、データの整形で利用できる機能です。
詳しくは、文字列正規表現置換についてを参照ください。
カラムハッシュ化
個人情報など元データのまま転送したくない列を、SHA-256でハッシュ化したものに変換して転送します。
厳密には暗号化ではない点についてご留意ください。
文字列変換
対象カラム名と変換方法を指定して、String型の文字列を変換します。
全角英数字を半角にしたり、半角カナを全角にするなどの正規化ができます。
詳しくは、文字列変換機能についてを参照ください。
UNIX時間変換
対象カラム名と変換方法を指定して、UNIX時間と日時形式の変換を行います。
項目名 | 説明 |
---|---|
対象カラム名 | UNIX時間変換を適用するカラム名を入力します。 カラム定義で設定したカラム名を入力してください。 |
変換方法 | 変換方法を以下から選択します。
それぞれ変換方法を「UNIX時間 -> 日時」にした場合と変換方法を「日時 -> UNIX時間」にした場合を参照ください。 |
変換方法を「UNIX時間 -> 日時」にした場合
変更方法で「UNIX時間 -> 日時(TIMESTAMP型)」または「UNIX時間 -> 日時(STRING型)」を選択した場合の設定項目です。
項目名 | 説明 |
---|---|
変換前のUNIX時間の単位 | 変換前のUNIX時間の単位を以下から選択します。
|
変換後のフォーマット | 変換後の日時フォーマットを指定します。 変換方法で「UNIX時間 -> 日時(STRING型)」を選択した場合のみ指定可能です。 変換方法で「UNIX時間 -> 日時(TIMESTAMP型)」を選択した場合は、固定で %Y-%m-%d %H:%M:%S.%N %Z となります。TIMESTAMP 型のタイムゾーン指定子(%Z )の扱い方は転送先のサービスによって異なります。プレビューに表示される形式(例: 2023-12-01 15:30:45 UTC )と転送後されたタイムスタンプの表示形式は異なる場合があります。 |
変換後のタイムゾーン | 変換後の日時のタイムゾーンを選択します。 変換方法で「UNIX時間 -> 日時(STRING型)」を選択した場合のみ選択可能です。 変換方法で「UNIX時間 -> 日時(TIMESTAMP型)」を選択した場合は、固定で Etc/UTC となります。 |
変換方法を「日時 -> UNIX時間」にした場合
変更方法で「日時(TIMESTAMP型) -> UNIX時間」または「日時(STRING型) -> UNIX時間」を選択した場合の設定項目です。
項目名 | 説明 |
---|---|
変換前のフォーマット | 変換前の日時フォーマットを指定します。 変換方法で「日時(STRING型) -> UNIX時間」を選択した場合のみ指定可能です。 データ型で「UNIX時間 -> 日時(TIMESTAMP型)」を選択した場合は、固定で %Y-%m-%d %H:%M:%S.%N %Z となります。 |
変換前のタイムゾーン | 変換前の日時のタイムゾーンを選択します。 変換方法で「日時(STRING型) -> UNIX時間」を選択した場合のみ選択可能です。 データ型で「UNIX時間 -> 日時(TIMESTAMP型)」を選択した場合は、固定で Etc/UTC となります。 |
変換後のUNIX時間の単位 | 変換後のUNIX時間の単位を以下から選択します。
|