내용 x
    템플릿 ETL
      • 인쇄
      • PDF
      내용

      템플릿 ETL

        • 인쇄
        • PDF
        기사 요약

        개요

        전송 설정의 STEP2 상세 설정에서 설정할 수 있는 템플릿 ETL의 각 항목에 대해 설명하는 도움말 페이지입니다.

        컬럼 정의

        STEP1에서 설정한 전송처에서 가져온 데이터에서 열을 좁히거나 추가하여 전송할 열을 지정합니다.
        원본 컬럼에 대해 다음과 같은 변경이 가능합니다.
        - 칼럼명
        - 데이터 유형
        - 기본값
        - 날짜 및 시간 형식(날짜 및 시간 데이터의 경우)

        전송 대상 컬럼에 변경 사항이 있는 경우, 컬럼 정의 다시 불러 오기를 클릭하여 최신 정의로 업데이트할 수 있습니다.
        자세한 내용은 컬럼 정의 다시 불러 오기를 참조하세요.

        template-etl-2024-08-29-22-47-0

        JSON 컬럼 전개

        전송처에서 가져온 데이터 중 필드에 JSON 형식의 값이 저장되어 있는 경우, 컬럼 정의에서 JSON 컬럼을 확장하도록 선택할 수 있습니다.
        JSON에 저장된 데이터에 대해 컬럼명, JSON 경로, 데이터 타입, 날짜 형식, 타임존을 지정하여 컬럼으로 확장합니다.
        전개 후 컬럼 이름은 다른 컬럼 이름과 중복되지 않는 고유한 값을 입력해야 합니다.

        template-etl-2024-08-29-22-47-1

        참고로 JSON에 배열이 포함된 경우의 값 가져오기는 전송원 컬럼의 JSON에 배열이 포함된 경우, 요소를 지정하여 값을 가져오는 방법을 참고하시기 바랍니다.

        컬럼 이름 및 데이터 유형 일괄 변환

        선택한 컬럼의 명명 규칙 및 데이터 유형을 일괄 변환할 수 있습니다.
        각 열의 왼쪽에 있는 체크박스를 선택하고 일괄변환을 클릭하면 일괄변환을 위한 대화창이 나타납니다.
        참고로 데이터 타입 변환은 string 타입으로의 변환만 지원합니다.

        image.png

        컬럼 이름 규칙 변환

        아래 4가지 종류 중에서 선택할 수 있습니다.

        변환 형식변환 예시개요
        대문자 변환AccountId -> ACCOUNTID
        account_id -> ACCOUNT_ID        		소문자를 대문자로 변환합니다.
        하이픈( -) 이나 밑줄( _) 과 같은 기호 문자는 유지됩니다.
        스네이크 케이스(snake_case) 변환AccountId -> account_id
        account id -> account_id        		낙타 케이스를 뱀 케이스로 변환합니다.
        대문자는 모두 소문자로 변환됩니다.
        또한, 반각 공백도 언더스코어( _) 로 변환됩니다.
        어퍼 스네이크 케이스(UPPER_SNAKE_CASE) 변환AccountId -> ACCOUNT_ID
        account id -> ACCOUNT_ID        		낙타 케이스를 뱀 케이스로 변환합니다.
        소문자는 모두 대문자로 변환됩니다.
        또한, 반각 공백도 언더스코어( _) 로 변환됩니다.
        Sanitize(Google BigQuery 컬럼명 호환) 변환account.id-> account_id
        account id -> account_id        		Google BigQuery의 컬럼 이름 규칙에 맞는 형태로 변환합니다.
        점( . ) 와 하이픈( - )과 같은 기호 문자 및 반각 공백은 밑줄( _) 로 변환됩니다.
        또한, 일본어와 같은 멀티바이트 문자도 언더스코어( _) 로 변환됩니다. 주의하시기 바랍니다.

        필터 설정

        데이터 행을 좁히기 위한 조건을 AND 조건 또는 OR 조건으로 설정합니다.
        조건에 부합하는 라인만 전송됩니다.
        대상 컬럼 이름과 필터 값을 지정하고 다음 연산자를 선택할 수 있습니다.

        • >
        • >=
        • <
        • <=
        • ==
        • ! =
        • start_with
        • end_with
        • 포함
        • IS NULL
        • IS NOT NULL
        • REGEXP

        template-etl-2024-08-29-22-47-3

        마스킹 설정

        지정한 필드의 지정한 부분을 *로 대체합니다.
        개인정보 등 원본 데이터 그대로 전송하고 싶지 않은 열을 마스킹한 상태로 전송할 수 있습니다.
        마스킹의 종류는 4가지가 있으며, 각 종류는 다음과 같다.

        유형설명
        전체 문자열모두 *로 대체합니다.
        이메일 주소마크까지 *로 대체합니다.
        정규 표현식정규식 패턴과 일치하는 부분을 *로 대체합니다.
        부분 문자열시작 위치, 종료 위치를 지정하고 *로 대체합니다.

        template-etl-2024-08-29-22-47-4

        전송 날짜 및 시간 컬럼 설정

        전송 작업 실행의 시작 날짜와 시간을 기록하는 컬럼을 추가할 경우 설정합니다.
        전송 작업을 실행한 날짜와 시간에 따라 파티셔닝 및 샤딩 테이블화를 할 때 사용하세요.

        전송일시 컬럼을 추가할 경우, 전송일시 컬럼 추가에 체크하고 아래 항목에서 출력 형식을 지정해 주세요.

        image.png

        품목명설명
        추가할 컬럼 이름전송 일시를 출력할 컬럼 이름을 입력합니다.
        데이터 유형아래에서 데이터 유형을 선택합니다.
      • 타임스탬프
      • string
        • 형식출력할 전송 날짜 및 시간 형식을 지정합니다.
        데이터 타입으로string을 선택한 경우에만 지정할 수 있습니다.
        데이터 유형에서timestamp를 선택하면 고정으로 %Y-%m-%d %H:%M:%S.%N %Z가 됩니다.

        timestamp형 타임존 지정자( %Z )의 처리 방법은 전송 대상 서비스에 따라 다릅니다.
        미리보기에 표시되는 형식(예: 2023-12-01 15:30:45 UTC )과 전송된 타임스탬프의 표시 형식은 다를 수 있습니다.
        시간대출력할 전송 날짜 및 시간대를 선택합니다.
        데이터 타입으로string을 선택한 경우에만 선택 가능합니다.
      • Etc/UTC
      • Asia/Tokyo

        • 예: Asia/Tokyo를 선택한 경우
      • 형식%Z에는``JST가 전개된다.
      • 형식%z에는``+0900 ( Etc/UTC와의 시차)이 전개된다.

        • 데이터 타입에서timestamp를 선택하면 고정으로 Etc/UTC가 됩니다.

        문자열 정규식 대체

        특정 컬럼에서 지정한 정규 표현식과 일치하는 부분을 다른 문자열로 대체합니다.
        표기의 흔들림 수정을 위해 공백이나 기호를 삭제하는 등 데이터 정형화에 활용할 수 있는 기능입니다.
        자세한 내용은 문자열 정규표현식 대체를 참고하세요.

        컬럼 해시화

        개인정보 등 원본 데이터 그대로 전송하고 싶지 않은 열을 SHA-256으로 해시화하여 전송합니다.
        엄밀히 말하면 암호화가 아니라는 점에 유의하시기 바랍니다.

        문자열 변환

        대상 컬럼 이름과 변환 방법을 지정하여 String 타입의 문자열을 변환합니다.
        전각 영숫자를 반각으로, 반각 가나를 전각으로 등 정규화할 수 있습니다.
        자세한 내용은 문자열 변환 기능을 참고하세요.

        UNIX 시간 변환

        대상 컬럼 이름과 변환 방법을 지정하여 UNIX 시간 및 날짜 형식 변환을 수행합니다.

        품목명설명
        대상 컬럼명UNIX 시간 변환을 적용할 컬럼 이름을 입력합니다.
        컬럼 정의에서 설정한 컬럼 이름을 입력합니다.
        변환 방법아래에서 변환 방법을 선택합니다.
        • 'UNIX 시간 -> 일시(TIMESTAMP형)'
        • 'UNIX 시간 -> 날짜(STRING형)'
        • '날짜 및 시간(TIMESTAMP형) -> UNIX 시간'
        • '날짜 및 시간(STRING형) -> UNIX 시간'
        지정한 값에 따라 후속 설정 항목이 달라집니다.
        각각 변환 방법을 'UNIX 시간 -> 날짜'로변환한경우와'날짜 -> UNIX 시간'으로변환한 경우를 참고하세요.

        변환 방법을 'UNIX 시간 -> 날짜'로 설정한 경우

        변경 방법으로 'UNIX 시간 -> 날짜(TIMESTAMP형)' 또는 'UNIX 시간 -> 날짜(STRING형)'을 선택한 경우의 설정 항목입니다.

        품목명설명
        변환 전 UNIX 시간 단위변환 전 UNIX 시간 단위를 아래에서 선택합니다.
        • 초
        • 밀리초
        • 마이크로초
        • 나노초
        변환 후 포맷변환 후 날짜 및 시간 형식을 지정합니다.
        변환 방법으로 'UNIX 시간 -> 날짜(STRING형)'을 선택한 경우에만 지정할 수 있습니다.
        변환 방법으로 'UNIX 시간 -> 날짜(TIMESTAMP형)'을 선택한 경우, 고정으로 %Y-%m-%d %H:%M:%S.%N %Z가 됩니다.

        TIMESTAMP형 타임존 지정자( %Z )의 처리 방법은 전송 대상 서비스에 따라 다릅니다.
        미리보기에서 표시되는 형식(예: 2023-12-01 15:30:45 UTC )과 전송 후 전송된 타임스탬프의 표시 형식은 다를 수 있습니다.
        변환 후 시간대변환 후 날짜 및 시간대를 선택합니다.
        변환 방법으로 'UNIX 시간 -> 날짜(STRING형)'을 선택한 경우에만 선택 가능합니다.
        변환 방법으로 'UNIX 시간 -> 날짜(TIMESTAMP형)'을 선택하면 고정으로 Etc/UTC가 됩니다.

        변환 방법을 '날짜 및 시간 -> UNIX 시간'으로 설정한 경우

        변경 방법으로 '날짜 및 시간(TIMESTAMP형) -> UNIX 시간' 또는 '날짜 및 시간(STRING형) -> UNIX 시간'을 선택한 경우의 설정 항목입니다.

        품목명설명
        변환 전 포맷변환 전 날짜 및 시간 형식을 지정합니다.
        변환 방법으로 '날짜/시간(STRING형) -> UNIX 시간'을 선택한 경우에만 지정할 수 있습니다.
        데이터 유형에서 'UNIX 시간 -> 날짜 및 시간(TIMESTAMP 유형)을 선택한 경우, 고정으로 %Y-%m-%d %H:%M:%S.%N %Z가 됩니다.
        변환 전 시간대변환 전의 날짜 및 시간대를 선택합니다.
        변환 방법으로 '날짜 및 시간(STRING형) -> UNIX 시간'을 선택한 경우에만 선택 가능합니다.
        데이터 타입에서 'UNIX 시간 -> 날짜(TIMESTAMP 타입)'을 선택하면 고정으로 Etc/UTC가 됩니다.
        변환 후 UNIX 시간 단위변환 후 UNIX 시간 단위를 아래에서 선택합니다.
        • 초
        • 밀리초
        • 마이크로초
        • 나노초
        이 문서가 도움이 되었습니까?
        What's Next