템플릿 ETL

개요

전송 설정의 STEP2 상세 설정에서 설정할 수 있는 템플릿 ETL의 각 항목에 대해 설명하는 도움말 페이지입니다.

컬럼 정의

STEP1에서 설정한 타겟에서 가져온 데이터에서 열을 좁히거나 추가하여 전송할 열을 지정합니다.
원본 컬럼에 대해 다음과 같은 변경이 가능합니다.
- 칼럼명
- 데이터 유형
- 기본값
- 날짜 및 시간 형식(날짜 및 시간 데이터의 경우)

전송 대상 컬럼에 변경 사항이 있는 경우, 컬럼 정의 다시 불러 오기를 클릭하여 최신 정의로 업데이트할 수 있습니다.
자세한 내용은 컬럼 정의 다시 불러 오기를 참조하세요.

template-etl-2024-08-29-22-47-0

JSON 컬럼 전개

타겟에서 가져온 데이터 중 필드에 JSON 형식의 값이 저장되어 있는 경우, 컬럼 정의에서 JSON 컬럼을 확장하도록 선택할 수 있습니다.
JSON에 저장된 데이터에 대해 컬럼명, JSON 경로, 데이터 타입, 날짜 형식, 타임존을 지정하여 컬럼으로 확장합니다.
전개 후 컬럼 이름은 다른 컬럼 이름과 중복되지 않는 고유한 값을 입력해야 합니다.

template-etl-2024-08-29-22-47-1

참고로 JSON에 배열이 포함된 경우의 값 가져오기는 소스 컬럼의 JSON에 배열이 포함된 경우, 요소를 지정하여 값을 가져오는 방법을 참고하시기 바랍니다.

컬럼 이름 및 데이터 유형 일괄 변환

선택한 컬럼의 명명 규칙 및 데이터 유형을 일괄 변환할 수 있습니다.
각 열의 왼쪽에 있는 체크박스를 선택하고 일괄변환을 클릭하면 일괄변환을 위한 대화창이 나타납니다.
참고로 데이터 타입 변환은 string 타입으로의 변환만 지원합니다.

컬럼 이름 규칙 변환

아래 4가지 종류 중에서 선택할 수 있습니다.

변환 형식	변환 예시	개요
대문자 변환	`AccountId` -> `ACCOUNTID` `account_id` -> `ACCOUNT_ID`	소문자를 대문자로 변환합니다. 하이픈( `-)` 이나 밑줄( `_)` 과 같은 기호 문자는 유지됩니다.
스네이크 케이스(snake_case) 변환	`AccountId` -> `account_id` `account id` -> `account_id`	낙타 케이스를 뱀 케이스로 변환합니다. 대문자는 모두 소문자로 변환됩니다. 또한, 반각 공백도 언더스코어( `_)` 로 변환됩니다.
어퍼 스네이크 케이스(UPPER_SNAKE_CASE) 변환	`AccountId` -> `ACCOUNT_ID` `account id` -> `ACCOUNT_ID`	낙타 케이스를 뱀 케이스로 변환합니다. 소문자는 모두 대문자로 변환됩니다. 또한, 반각 공백도 언더스코어( `_)` 로 변환됩니다.
Sanitize(Google BigQuery 컬럼명 호환) 변환	`account.id->` `account_id` `account id` -> `account_id`	Google BigQuery의 컬럼 이름 규칙에 맞는 형태로 변환합니다. 점( `.` ) 와 하이픈( `-` )과 같은 기호 문자 및 반각 공백은 밑줄( `_)` 로 변환됩니다. 또한, 일본어와 같은 멀티바이트 문자도 언더스코어( `_)` 로 변환됩니다. 주의하시기 바랍니다.

필터 설정

데이터 행을 좁히기 위한 조건을 AND 조건 또는 OR 조건으로 설정합니다.
조건에 부합하는 라인만 전송됩니다.
대상 컬럼 이름과 필터 값을 지정하고 다음 연산자를 선택할 수 있습니다.

>
>=
<
<=
==
! =
start_with
end_with
포함
IS NULL
IS NOT NULL
REGEXP

template-etl-2024-08-29-22-47-3

마스킹 설정

지정한 필드의 지정한 부분을 *로 대체합니다.
개인정보 등 원본 데이터 그대로 전송하고 싶지 않은 열을 마스킹한 상태로 전송할 수 있습니다.
마스킹의 종류는 4가지가 있으며, 각 종류는 다음과 같다.

유형	설명
전체 문자열	모두 `*로` 대체합니다.
이메일 주소	마크까지 `*로` 대체합니다.
정규 표현식	정규식 패턴과 일치하는 부분을 `*로` 대체합니다.
부분 문자열	시작 위치, 종료 위치를 지정하고 `*로` 대체합니다.

template-etl-2024-08-29-22-47-4

전송 날짜 및 시간 컬럼 설정

전송 작업 실행의 시작 날짜와 시간을 기록하는 컬럼을 추가할 경우 설정합니다.
전송 작업을 실행한 날짜와 시간에 따라 파티셔닝 및 샤딩 테이블화를 할 때 사용하세요.

전송일시 컬럼을 추가할 경우, 전송일시 컬럼 추가에 체크하고 아래 항목에서 출력 형식을 지정해 주세요.

품목명	설명
추가할 컬럼 이름	전송 일시를 출력할 컬럼 이름을 입력합니다.
데이터 유형	아래에서 데이터 유형을 선택합니다. `타임스탬프` `string`
형식	출력할 전송 날짜 및 시간 형식을 지정합니다. 데이터 타입으로`string을` 선택한 경우에만 지정할 수 있습니다. 데이터 유형에서`timestamp를` 선택하면 고정으로 `%Y-%m-%d %H:%M:%S.%N %Z가` 됩니다. `timestamp형` 타임존 지정자( `%Z` )의 처리 방법은 전송 대상 서비스에 따라 다릅니다. 미리보기에 표시되는 형식(예: `2023-12-01 15:30:45 UTC` )과 전송된 타임스탬프의 표시 형식은 다를 수 있습니다.
시간대	출력할 전송 날짜 및 시간대를 선택합니다. 데이터 타입으로`string을` 선택한 경우에만 선택 가능합니다. `Etc/UTC` `Asia/Tokyo` 예: `Asia/Tokyo를` 선택한 경우 형식%Z에는``JST가 전개된다. 형식%z에는``+0900 ( `Etc/UTC와의` 시차)이 전개된다. 데이터 타입에서`timestamp를` 선택하면 고정으로 `Etc/UTC가` 됩니다.

문자열 정규식 대체

특정 컬럼에서 지정한 정규 표현식과 일치하는 부분을 다른 문자열로 대체합니다.
표기의 흔들림 수정을 위해 공백이나 기호를 삭제하는 등 데이터 정형화에 활용할 수 있는 기능입니다.
자세한 내용은 문자열 정규표현식 대체를 참고하세요.

컬럼 해시화

개인정보 등 원본 데이터 그대로 전송하고 싶지 않은 열을 SHA-256으로 해시화하여 전송합니다.
엄밀히 말하면 암호화가 아니라는 점에 유의하시기 바랍니다.

문자열 변환

대상 컬럼 이름과 변환 방법을 지정하여 String 타입의 문자열을 변환합니다.
전각 영숫자를 반각으로, 반각 가나를 전각으로 등 정규화할 수 있습니다.
자세한 내용은 문자열 변환 기능을 참고하세요.

UNIX 시간 변환

대상 컬럼 이름과 변환 방법을 지정하여 UNIX 시간 및 날짜 형식 변환을 수행합니다.

품목명	설명
대상 컬럼명	UNIX 시간 변환을 적용할 컬럼 이름을 입력합니다. 컬럼 정의에서 설정한 컬럼 이름을 입력합니다.
변환 방법	아래에서 변환 방법을 선택합니다. 'UNIX 시간 -> 일시(TIMESTAMP형)' 'UNIX 시간 -> 날짜(STRING형)' '날짜 및 시간(TIMESTAMP형) -> UNIX 시간' '날짜 및 시간(STRING형) -> UNIX 시간' 지정한 값에 따라 후속 설정 항목이 달라집니다. 각각 변환 방법을 'UNIX 시간 -> 날짜'로 변환한 경우와 '날짜 -> UNIX 시간'으로 변환한 경우를 참고하세요.

품목명

설명

대상 컬럼명

UNIX 시간 변환을 적용할 컬럼 이름을 입력합니다.
컬럼 정의에서 설정한 컬럼 이름을 입력합니다.

변환 방법

아래에서 변환 방법을 선택합니다.

'UNIX 시간 -> 일시(TIMESTAMP형)'
'UNIX 시간 -> 날짜(STRING형)'
'날짜 및 시간(TIMESTAMP형) -> UNIX 시간'
'날짜 및 시간(STRING형) -> UNIX 시간'

지정한 값에 따라 후속 설정 항목이 달라집니다.
각각 변환 방법을 'UNIX 시간 -> 날짜'로 변환한 경우와 '날짜 -> UNIX 시간'으로 변환한 경우를 참고하세요.

변환 방법을 'UNIX 시간 -> 날짜'로 설정한 경우

변경 방법으로 'UNIX 시간 -> 날짜(TIMESTAMP형)' 또는 'UNIX 시간 -> 날짜(STRING형)'을 선택한 경우의 설정 항목입니다.

품목명	설명
변환 전 UNIX 시간 단위	변환 전 UNIX 시간 단위를 아래에서 선택합니다. 초 밀리초 마이크로초 나노초
변환 후 포맷	변환 후 날짜 및 시간 형식을 지정합니다. 변환 방법으로 'UNIX 시간 -> 날짜(STRING형)'을 선택한 경우에만 지정할 수 있습니다. 변환 방법으로 'UNIX 시간 -> 날짜(TIMESTAMP형)'을 선택한 경우, 고정으로 `%Y-%m-%d %H:%M:%S.%N %Z가` 됩니다. `TIMESTAMP형` 타임존 지정자( `%Z` )의 처리 방법은 전송 대상 서비스에 따라 다릅니다. 미리보기에서 표시되는 형식(예: `2023-12-01 15:30:45 UTC` )과 전송 후 전송된 타임스탬프의 표시 형식은 다를 수 있습니다.
변환 후 시간대	변환 후 날짜 및 시간대를 선택합니다. 변환 방법으로 'UNIX 시간 -> 날짜(STRING형)'을 선택한 경우에만 선택 가능합니다. 변환 방법으로 'UNIX 시간 -> 날짜(TIMESTAMP형)'을 선택하면 고정으로 `Etc/UTC가` 됩니다.

변환 방법을 '날짜 및 시간 -> UNIX 시간'으로 설정한 경우

변경 방법으로 '날짜 및 시간(TIMESTAMP형) -> UNIX 시간' 또는 '날짜 및 시간(STRING형) -> UNIX 시간'을 선택한 경우의 설정 항목입니다.

품목명	설명
변환 전 포맷	변환 전 날짜 및 시간 형식을 지정합니다. 변환 방법으로 '날짜/시간(STRING형) -> UNIX 시간'을 선택한 경우에만 지정할 수 있습니다. 데이터 유형에서 'UNIX 시간 -> 날짜 및 시간(TIMESTAMP 유형)을 선택한 경우, 고정으로 `%Y-%m-%d %H:%M:%S.%N %Z가` 됩니다.
변환 전 시간대	변환 전의 날짜 및 시간대를 선택합니다. 변환 방법으로 '날짜 및 시간(STRING형) -> UNIX 시간'을 선택한 경우에만 선택 가능합니다. 데이터 타입에서 'UNIX 시간 -> 날짜(TIMESTAMP 타입)'을 선택하면 고정으로 `Etc/UTC가` 됩니다.
변환 후 UNIX 시간 단위	변환 후 UNIX 시간 단위를 아래에서 선택합니다. 초 밀리초 마이크로초 나노초