템플릿 ETL
    • PDF

    템플릿 ETL

    • PDF

    기사 요약

    개요

    전송 설정의 STEP2 상세 설정에서 설정할 수 있는 템플릿 ETL의 각 항목에 대해 설명하는 도움말 페이지입니다.

    컬럼 정의

    STEP1에서 설정한 전송처에서 가져온 데이터에서 열을 좁히거나 추가하여 전송할 열을 지정합니다.
    원본 컬럼에 대해 다음과 같은 변경이 가능합니다.
    - 칼럼명
    - 데이터 유형
    - 기본값
    - 날짜 및 시간 형식(날짜 및 시간 데이터의 경우)

    전송 대상 컬럼에 변경 사항이 있는 경우, 컬럼 정의 다시 불러 오기를 클릭하여 최신 정의로 업데이트할 수 있습니다.
    자세한 내용은 컬럼 정의 다시 불러 오기를 참조하세요.

    template-etl-2024-08-29-22-47-0

    JSON 컬럼 전개

    전송처에서 가져온 데이터 중 필드에 JSON 형식의 값이 저장되어 있는 경우, 컬럼 정의에서 JSON 컬럼을 확장하도록 선택할 수 있습니다.
    JSON에 저장된 데이터에 대해 컬럼명, JSON 경로, 데이터 타입, 날짜 형식, 타임존을 지정하여 컬럼으로 확장합니다.
    전개 후 컬럼 이름은 다른 컬럼 이름과 중복되지 않는 고유한 값을 입력해야 합니다.

    template-etl-2024-08-29-22-47-1

    참고로 JSON에 배열이 포함된 경우의 값 가져오기는 전송원 컬럼의 JSON에 배열이 포함된 경우, 요소를 지정하여 값을 가져오는 방법을 참고하시기 바랍니다.

    컬럼 이름 및 데이터 유형 일괄 변환

    선택한 컬럼의 명명 규칙 및 데이터 유형을 일괄 변환할 수 있습니다.
    각 열의 왼쪽에 있는 체크박스를 선택하고 일괄변환을 클릭하면 일괄변환을 위한 대화창이 나타납니다.
    참고로 데이터 타입 변환은 string 타입으로의 변환만 지원합니다.

    image.png

    컬럼 이름 규칙 변환

    아래 4가지 종류 중에서 선택할 수 있습니다.

    변환 형식변환 예시개요
    대문자 변환AccountId -> ACCOUNTID
    account_id -> ACCOUNT_ID
    소문자를 대문자로 변환합니다.
    하이픈( -) 이나 밑줄( _) 과 같은 기호 문자는 유지됩니다.
    스네이크 케이스(snake_case) 변환AccountId -> account_id
    account id -> account_id
    낙타 케이스를 뱀 케이스로 변환합니다.
    대문자는 모두 소문자로 변환됩니다.
    또한, 반각 공백도 언더스코어( _) 로 변환됩니다.
    어퍼 스네이크 케이스(UPPER_SNAKE_CASE) 변환AccountId -> ACCOUNT_ID
    account id -> ACCOUNT_ID
    낙타 케이스를 뱀 케이스로 변환합니다.
    소문자는 모두 대문자로 변환됩니다.
    또한, 반각 공백도 언더스코어( _) 로 변환됩니다.
    Sanitize(Google BigQuery 컬럼명 호환) 변환account.id-> account_id
    account id -> account_id
    Google BigQuery의 컬럼 이름 규칙에 맞는 형태로 변환합니다.
    점( . ) 와 하이픈( - )과 같은 기호 문자 및 반각 공백은 밑줄( _) 로 변환됩니다.
    또한, 일본어와 같은 멀티바이트 문자도 언더스코어( _) 로 변환됩니다. 주의하시기 바랍니다.

    필터 설정

    데이터 행을 좁히기 위한 조건을 AND 조건 또는 OR 조건으로 설정합니다.
    조건에 부합하는 라인만 전송됩니다.
    대상 컬럼 이름과 필터 값을 지정하고 다음 연산자를 선택할 수 있습니다.

    • >
    • >=
    • <
    • <=
    • ==
    • ! =
    • start_with
    • end_with
    • 포함
    • IS NULL
    • IS NOT NULL
    • REGEXP

    template-etl-2024-08-29-22-47-3

    마스킹 설정

    지정한 필드의 지정한 부분을 *로 대체합니다.
    개인정보 등 원본 데이터 그대로 전송하고 싶지 않은 열을 마스킹한 상태로 전송할 수 있습니다.
    마스킹의 종류는 4가지가 있으며, 각 종류는 다음과 같다.

    유형설명
    전체 문자열모두 *로 대체합니다.
    이메일 주소마크까지 *로 대체합니다.
    정규 표현식정규식 패턴과 일치하는 부분을 *로 대체합니다.
    부분 문자열시작 위치, 종료 위치를 지정하고 *로 대체합니다.

    template-etl-2024-08-29-22-47-4

    전송 날짜 및 시간 컬럼 설정

    전송 작업 실행의 시작 날짜와 시간을 기록하는 컬럼을 추가할 경우 설정합니다.
    전송 작업을 실행한 날짜와 시간에 따라 파티셔닝 및 샤딩 테이블화를 할 때 사용하세요.

    전송일시 컬럼을 추가할 경우, 전송일시 컬럼 추가에 체크하고 아래 항목에서 출력 형식을 지정해 주세요.

    image.png

    품목명설명
    추가할 컬럼 이름전송 일시를 출력할 컬럼 이름을 입력합니다.
    데이터 유형아래에서 데이터 유형을 선택합니다.
  • 타임스탬프
  • string
  • 형식출력할 전송 날짜 및 시간 형식을 지정합니다.
    데이터 타입으로string을 선택한 경우에만 지정할 수 있습니다.
    데이터 유형에서timestamp를 선택하면 고정으로 %Y-%m-%d %H:%M:%S.%N %Z가 됩니다.

    timestamp형 타임존 지정자( %Z )의 처리 방법은 전송 대상 서비스에 따라 다릅니다.
    미리보기에 표시되는 형식(예: 2023-12-01 15:30:45 UTC )과 전송된 타임스탬프의 표시 형식은 다를 수 있습니다.
    시간대출력할 전송 날짜 및 시간대를 선택합니다.
    데이터 타입으로string을 선택한 경우에만 선택 가능합니다.
  • Etc/UTC
  • Asia/Tokyo

  • 예: Asia/Tokyo를 선택한 경우
  • 형식%Z에는``JST가 전개된다.
  • 형식%z에는``+0900 ( Etc/UTC와의 시차)이 전개된다.

  • 데이터 타입에서timestamp를 선택하면 고정으로 Etc/UTC가 됩니다.

    문자열 정규식 대체

    특정 컬럼에서 지정한 정규 표현식과 일치하는 부분을 다른 문자열로 대체합니다.
    표기의 흔들림 수정을 위해 공백이나 기호를 삭제하는 등 데이터 정형화에 활용할 수 있는 기능입니다.
    자세한 내용은 문자열 정규표현식 대체를 참고하세요.

    컬럼 해시화

    개인정보 등 원본 데이터 그대로 전송하고 싶지 않은 열을 SHA-256으로 해시화하여 전송합니다.
    엄밀히 말하면 암호화가 아니라는 점에 유의하시기 바랍니다.

    문자열 변환

    대상 컬럼 이름과 변환 방법을 지정하여 String 타입의 문자열을 변환합니다.
    전각 영숫자를 반각으로, 반각 가나를 전각으로 등 정규화할 수 있습니다.
    자세한 내용은 문자열 변환 기능을 참고하세요.

    UNIX 시간 변환

    대상 컬럼 이름과 변환 방법을 지정하여 UNIX 시간 및 날짜 형식 변환을 수행합니다.

    품목명설명
    대상 컬럼명UNIX 시간 변환을 적용할 컬럼 이름을 입력합니다.
    컬럼 정의에서 설정한 컬럼 이름을 입력합니다.
    변환 방법아래에서 변환 방법을 선택합니다.
    • 'UNIX 시간 -> 일시(TIMESTAMP형)'
    • 'UNIX 시간 -> 날짜(STRING형)'
    • '날짜 및 시간(TIMESTAMP형) -> UNIX 시간'
    • '날짜 및 시간(STRING형) -> UNIX 시간'
    지정한 값에 따라 후속 설정 항목이 달라집니다.
    각각 변환 방법을 'UNIX 시간 -> 날짜'로변환한경우와'날짜 -> UNIX 시간'으로변환한 경우를 참고하세요.

    변환 방법을 'UNIX 시간 -> 날짜'로 설정한 경우

    변경 방법으로 'UNIX 시간 -> 날짜(TIMESTAMP형)' 또는 'UNIX 시간 -> 날짜(STRING형)'을 선택한 경우의 설정 항목입니다.

    품목명설명
    변환 전 UNIX 시간 단위변환 전 UNIX 시간 단위를 아래에서 선택합니다.
    • 밀리초
    • 마이크로초
    • 나노초
    변환 후 포맷변환 후 날짜 및 시간 형식을 지정합니다.
    변환 방법으로 'UNIX 시간 -> 날짜(STRING형)'을 선택한 경우에만 지정할 수 있습니다.
    변환 방법으로 'UNIX 시간 -> 날짜(TIMESTAMP형)'을 선택한 경우, 고정으로 %Y-%m-%d %H:%M:%S.%N %Z가 됩니다.

    TIMESTAMP형 타임존 지정자( %Z )의 처리 방법은 전송 대상 서비스에 따라 다릅니다.
    미리보기에서 표시되는 형식(예: 2023-12-01 15:30:45 UTC )과 전송 후 전송된 타임스탬프의 표시 형식은 다를 수 있습니다.
    변환 후 시간대변환 후 날짜 및 시간대를 선택합니다.
    변환 방법으로 'UNIX 시간 -> 날짜(STRING형)'을 선택한 경우에만 선택 가능합니다.
    변환 방법으로 'UNIX 시간 -> 날짜(TIMESTAMP형)'을 선택하면 고정으로 Etc/UTC가 됩니다.

    변환 방법을 '날짜 및 시간 -> UNIX 시간'으로 설정한 경우

    변경 방법으로 '날짜 및 시간(TIMESTAMP형) -> UNIX 시간' 또는 '날짜 및 시간(STRING형) -> UNIX 시간'을 선택한 경우의 설정 항목입니다.

    품목명설명
    변환 전 포맷변환 전 날짜 및 시간 형식을 지정합니다.
    변환 방법으로 '날짜/시간(STRING형) -> UNIX 시간'을 선택한 경우에만 지정할 수 있습니다.
    데이터 유형에서 'UNIX 시간 -> 날짜 및 시간(TIMESTAMP 유형)을 선택한 경우, 고정으로 %Y-%m-%d %H:%M:%S.%N %Z가 됩니다.
    변환 전 시간대변환 전의 날짜 및 시간대를 선택합니다.
    변환 방법으로 '날짜 및 시간(STRING형) -> UNIX 시간'을 선택한 경우에만 선택 가능합니다.
    데이터 타입에서 'UNIX 시간 -> 날짜(TIMESTAMP 타입)'을 선택하면 고정으로 Etc/UTC가 됩니다.
    변환 후 UNIX 시간 단위변환 후 UNIX 시간 단위를 아래에서 선택합니다.
    • 밀리초
    • 마이크로초
    • 나노초

    이 문서가 도움이 되었습니까?