- 인쇄
- PDF
템플릿 ETL
- 인쇄
- PDF
개요
전송 설정의 STEP2 상세 설정에서 설정할 수 있는 템플릿 ETL의 각 항목에 대해 설명하는 도움말 페이지입니다.
컬럼 정의
STEP1에서 설정한 전송처에서 가져온 데이터에서 열을 좁히거나 추가하여 전송할 열을 지정합니다.
원본 컬럼에 대해 다음과 같은 변경이 가능합니다.
- 칼럼명
- 데이터 유형
- 기본값
- 날짜 및 시간 형식(날짜 및 시간 데이터의 경우)
전송 대상 컬럼에 변경 사항이 있는 경우, 컬럼 정의 다시 불러 오기를 클릭하여 최신 정의로 업데이트할 수 있습니다.
자세한 내용은 컬럼 정의 다시 불러 오기를 참조하세요.
JSON 컬럼 전개
전송처에서 가져온 데이터 중 필드에 JSON 형식의 값이 저장되어 있는 경우, 컬럼 정의에서 JSON 컬럼을 확장하도록 선택할 수 있습니다.
JSON에 저장된 데이터에 대해 컬럼명, JSON 경로, 데이터 타입, 날짜 형식, 타임존을 지정하여 컬럼으로 확장합니다.
전개 후 컬럼 이름은 다른 컬럼 이름과 중복되지 않는 고유한 값을 입력해야 합니다.
참고로 JSON에 배열이 포함된 경우의 값 가져오기는 전송원 컬럼의 JSON에 배열이 포함된 경우, 요소를 지정하여 값을 가져오는 방법을 참고하시기 바랍니다.
컬럼 이름 및 데이터 유형 일괄 변환
선택한 컬럼의 명명 규칙 및 데이터 유형을 일괄 변환할 수 있습니다.
각 열의 왼쪽에 있는 체크박스를 선택하고 일괄변환을 클릭하면 일괄변환을 위한 대화창이 나타납니다.
참고로 데이터 타입 변환은 string 타입으로의 변환만 지원합니다.
컬럼 이름 규칙 변환
아래 4가지 종류 중에서 선택할 수 있습니다.
변환 형식 | 변환 예시 | 개요 |
---|---|---|
대문자 변환 | AccountId -> ACCOUNTID account_id -> ACCOUNT_ID | 소문자를 대문자로 변환합니다. 하이픈( -) 이나 밑줄( _) 과 같은 기호 문자는 유지됩니다. |
스네이크 케이스(snake_case) 변환 | AccountId -> account_id account id -> account_id | 낙타 케이스를 뱀 케이스로 변환합니다. 대문자는 모두 소문자로 변환됩니다. 또한, 반각 공백도 언더스코어( _) 로 변환됩니다. |
어퍼 스네이크 케이스(UPPER_SNAKE_CASE) 변환 | AccountId -> ACCOUNT_ID account id -> ACCOUNT_ID | 낙타 케이스를 뱀 케이스로 변환합니다. 소문자는 모두 대문자로 변환됩니다. 또한, 반각 공백도 언더스코어( _) 로 변환됩니다. |
Sanitize(Google BigQuery 컬럼명 호환) 변환 | account.id-> account_id account id -> account_id | Google BigQuery의 컬럼 이름 규칙에 맞는 형태로 변환합니다. 점( . ) 와 하이픈( - )과 같은 기호 문자 및 반각 공백은 밑줄( _) 로 변환됩니다.또한, 일본어와 같은 멀티바이트 문자도 언더스코어( _) 로 변환됩니다. 주의하시기 바랍니다. |
필터 설정
데이터 행을 좁히기 위한 조건을 AND 조건 또는 OR 조건으로 설정합니다.
조건에 부합하는 라인만 전송됩니다.
대상 컬럼 이름과 필터 값을 지정하고 다음 연산자를 선택할 수 있습니다.
>
>=
<
<=
==
! =
start_with
end_with
포함
IS NULL
IS NOT NULL
REGEXP
마스킹 설정
지정한 필드의 지정한 부분을 *로
대체합니다.
개인정보 등 원본 데이터 그대로 전송하고 싶지 않은 열을 마스킹한 상태로 전송할 수 있습니다.
마스킹의 종류는 4가지가 있으며, 각 종류는 다음과 같다.
유형 | 설명 |
---|---|
전체 문자열 | 모두 *로 대체합니다. |
이메일 주소 | 마크까지 *로 대체합니다. |
정규 표현식 | 정규식 패턴과 일치하는 부분을 *로 대체합니다. |
부분 문자열 | 시작 위치, 종료 위치를 지정하고 *로 대체합니다. |
전송 날짜 및 시간 컬럼 설정
전송 작업 실행의 시작 날짜와 시간을 기록하는 컬럼을 추가할 경우 설정합니다.
전송 작업을 실행한 날짜와 시간에 따라 파티셔닝 및 샤딩 테이블화를 할 때 사용하세요.
전송일시 컬럼을 추가할 경우, 전송일시 컬럼 추가에 체크하고 아래 항목에서 출력 형식을 지정해 주세요.
품목명 | 설명 |
---|---|
추가할 컬럼 이름 | 전송 일시를 출력할 컬럼 이름을 입력합니다. |
데이터 유형 | 아래에서 데이터 유형을 선택합니다.타임스탬프 string |
형식 | 출력할 전송 날짜 및 시간 형식을 지정합니다. 데이터 타입으로 string을 선택한 경우에만 지정할 수 있습니다.데이터 유형에서 timestamp를 선택하면 고정으로 %Y-%m-%d %H:%M:%S.%N %Z가 됩니다.timestamp형 타임존 지정자( %Z )의 처리 방법은 전송 대상 서비스에 따라 다릅니다.미리보기에 표시되는 형식(예: 2023-12-01 15:30:45 UTC )과 전송된 타임스탬프의 표시 형식은 다를 수 있습니다. |
시간대 | 출력할 전송 날짜 및 시간대를 선택합니다. 데이터 타입으로 string을 선택한 경우에만 선택 가능합니다.Etc/UTC Asia/Tokyo 예: Asia/Tokyo를 선택한 경우%Z에는``JST가 전개된다.%z에는``+0900 ( Etc/UTC와의 시차)이 전개된다.데이터 타입에서 timestamp를 선택하면 고정으로 Etc/UTC가 됩니다. |
문자열 정규식 대체
특정 컬럼에서 지정한 정규 표현식과 일치하는 부분을 다른 문자열로 대체합니다.
표기의 흔들림 수정을 위해 공백이나 기호를 삭제하는 등 데이터 정형화에 활용할 수 있는 기능입니다.
자세한 내용은 문자열 정규표현식 대체를 참고하세요.
컬럼 해시화
개인정보 등 원본 데이터 그대로 전송하고 싶지 않은 열을 SHA-256으로 해시화하여 전송합니다.
엄밀히 말하면 암호화가 아니라는 점에 유의하시기 바랍니다.
문자열 변환
대상 컬럼 이름과 변환 방법을 지정하여 String 타입의 문자열을 변환합니다.
전각 영숫자를 반각으로, 반각 가나를 전각으로 등 정규화할 수 있습니다.
자세한 내용은 문자열 변환 기능을 참고하세요.
UNIX 시간 변환
대상 컬럼 이름과 변환 방법을 지정하여 UNIX 시간 및 날짜 형식 변환을 수행합니다.
품목명 | 설명 |
---|---|
대상 컬럼명 | UNIX 시간 변환을 적용할 컬럼 이름을 입력합니다. 컬럼 정의에서 설정한 컬럼 이름을 입력합니다. |
변환 방법 | 아래에서 변환 방법을 선택합니다.
각각 변환 방법을 'UNIX 시간 -> 날짜'로변환한경우와'날짜 -> UNIX 시간'으로변환한 경우를 참고하세요. |
변환 방법을 'UNIX 시간 -> 날짜'로 설정한 경우
변경 방법으로 'UNIX 시간 -> 날짜(TIMESTAMP형)' 또는 'UNIX 시간 -> 날짜(STRING형)'을 선택한 경우의 설정 항목입니다.
품목명 | 설명 |
---|---|
변환 전 UNIX 시간 단위 | 변환 전 UNIX 시간 단위를 아래에서 선택합니다.
|
변환 후 포맷 | 변환 후 날짜 및 시간 형식을 지정합니다. 변환 방법으로 'UNIX 시간 -> 날짜(STRING형)'을 선택한 경우에만 지정할 수 있습니다. 변환 방법으로 'UNIX 시간 -> 날짜(TIMESTAMP형)'을 선택한 경우, 고정으로 %Y-%m-%d %H:%M:%S.%N %Z가 됩니다.TIMESTAMP형 타임존 지정자( %Z )의 처리 방법은 전송 대상 서비스에 따라 다릅니다.미리보기에서 표시되는 형식(예: 2023-12-01 15:30:45 UTC )과 전송 후 전송된 타임스탬프의 표시 형식은 다를 수 있습니다. |
변환 후 시간대 | 변환 후 날짜 및 시간대를 선택합니다. 변환 방법으로 'UNIX 시간 -> 날짜(STRING형)'을 선택한 경우에만 선택 가능합니다. 변환 방법으로 'UNIX 시간 -> 날짜(TIMESTAMP형)'을 선택하면 고정으로 Etc/UTC가 됩니다. |
변환 방법을 '날짜 및 시간 -> UNIX 시간'으로 설정한 경우
변경 방법으로 '날짜 및 시간(TIMESTAMP형) -> UNIX 시간' 또는 '날짜 및 시간(STRING형) -> UNIX 시간'을 선택한 경우의 설정 항목입니다.
품목명 | 설명 |
---|---|
변환 전 포맷 | 변환 전 날짜 및 시간 형식을 지정합니다. 변환 방법으로 '날짜/시간(STRING형) -> UNIX 시간'을 선택한 경우에만 지정할 수 있습니다. 데이터 유형에서 'UNIX 시간 -> 날짜 및 시간(TIMESTAMP 유형)을 선택한 경우, 고정으로 %Y-%m-%d %H:%M:%S.%N %Z가 됩니다. |
변환 전 시간대 | 변환 전의 날짜 및 시간대를 선택합니다. 변환 방법으로 '날짜 및 시간(STRING형) -> UNIX 시간'을 선택한 경우에만 선택 가능합니다. 데이터 타입에서 'UNIX 시간 -> 날짜(TIMESTAMP 타입)'을 선택하면 고정으로 Etc/UTC가 됩니다. |
변환 후 UNIX 시간 단위 | 변환 후 UNIX 시간 단위를 아래에서 선택합니다.
|