내용 x
    데이터마트 - Google BigQuery
      • 인쇄
      • PDF
      내용

      데이터마트 - Google BigQuery

        • 인쇄
        • PDF
        기사 요약

        개요

        Google Cloud Platform의 BigQuery를 이용한 데이터 마트 정의 설정 도움말 페이지입니다.

        설정 항목

        기본 설정

        품목명필수내용
        Google BigQuery 연결 정보✓미리 등록되어 있는 Google BigQuery의 연결 정보에서 이번 데이터 마트 정의에 필요한 권한을 가진 것을 선택합니다.
        사용자 지정 변수----------------------------------------------------------------------------------------------.여기서 설정한 커스텀 변수를 쿼리, 데이터셋 이름, 테이블 이름 등에 삽입할 수 있습니다.
        자세한 내용은 커스텀 변수에 대해를 참고하세요.

        쿼리 설정

        품목명필수내용
        쿼리 실행 모드✓다음 모드 중 하나를 선택합니다.
      • 데이터 전송 모드
        쿼리와 출력 대상 테이블을 지정하기만 하면 쉽게 테이블에 대한 변경 및 추가를 실행할 수 있습니다.
      • 자유 기술 모드
        연결 대상 DWH에 대해 임의의 DML, DDL 문( INSERT, DELETE, CREATE, DROP 등 ) 을 작성하고 실행할 수 있다.
        • 쿼리✓쿼리를 입력합니다.
        쿼리 내에서 테이블 이름을 지정할 때는 다음과 같은 형식으로 작성해 주세요.
      • 데이터 전송 모드의 경우: dataset_name.table_name
      • 자유 기술 모드의 경우: project_name.dataset_name.table_name

        • 데이터 전송 모드를 선택한 경우, 미리보기 실행을 클릭하여 실행 결과를 확인할 수도 있습니다.

        데이터 전송 모드를 선택한 경우

        품목명필수내용
        출력 대상 데이터 세트✓데이터 출력 대상 데이터 세트 이름을 입력합니다.
        데이터셋 명명 규칙에 대한 자세한 내용은 BigQuery 공식 문서 - 데이터셋 이름 지정하기에서 확인할 수 있습니다.
        출력 대상 테이블✓데이터 출력 대상 테이블 이름을 입력합니다.
        테이블 이름 지정 규칙에 대한 자세한 내용은 BigQuery 공식 문서 - 테이블 이름 지 정을 참조하세요.
        쓰기 모드✓다음 모드 중 하나를 선택합니다.
        • 추기
          • 기존 테이블의 레코드 뒤에 쿼리 실행 결과가 추가됩니다.
        • 전건 교체
          • 기존 테이블의 레코드가 삭제되고 쿼리 실행 결과로 대체됩니다.

        파티셔닝 클러스터링 설정

        데이터 전송 모드를 선택한 경우 설정할 수 있습니다.
        파티셔닝 및 클러스터링에 대한 자세한 내용은 분할 테이블 개요, 클러스터링 테이블 개요를 각각 참고하시기 바랍니다.

        파티셔닝 클러스터링 설정 적용 조건

        파티셔닝 클러스터링 설정은 테이블을 새로 생성할 때만 유효합니다.
        출력처에 이미 테이블이 존재하는 경우, 본 설정의 내용이 아닌 기존 테이블의 설정 내용으로 작업이 실행됩니다.

        '캡처 시간에 따라 분할'에서 파티션 경계

        Google BigQuery의 사양상 파티션의 경계는 UTC 시간을 기준으로 합니다. 주의하시기 바랍니다.

        정수 범위 파티셔닝

        TROCCO에서는 특정 INTEGER 열의 값을 기준으로 테이블을 분할하는 정수 범위 파티셔닝을 지원하지 않습니다.

        품목명필수내용
        파티셔닝----------------------------------------------------------------------------------------------.다음 중 하나를 선택할 수 있습니다.
      • 인입 시간에 따라 분할: TROCCO의 작업 실행 시간에 따라 파티션이 나뉩니다.
      • 필드별 분할: 기준 컬럼을 기준으로 파티션이 분할됩니다.
        • 파티션 필드✓필드에 따라 분할을 선택했을 때 입력합니다.
        DATE, TIMESTAMP, DATETIME 중 한 가지 유형의 열 이름을 입력하세요.
        파티션 유형✓파티셔닝에서 분할 방식 중 하나를 선택한 경우 선택합니다.
        테이블 분할의 세분화 정도를 아래에서 선택해 주세요.
      • 1시간마다
      • 1일당
      • 1개월마다
      • 1년마다
        • 클러스터링----------------------------------------------------------------------------------------------.클러스터화 테이블을 생성하고 싶을 때 설정할 수 있습니다.
        클러스터링 컬럼에 컬럼 이름을 입력하면 해당 컬럼을 기준으로 테이블이 클러스터링된다.
        클러스터화 열은 최대 4개까지 지정할 수 있습니다.

        자유 기술 모드를 선택한 경우

        품목명필수내용
        데이터 처리 위치----------------------------------------------------------------------------------------------.쿼리를 실행할 Google BigQuery의 위치를 지정합니다.
        쿼리에서 위치에 연결되지 않은 리소스를 지정할 경우 지정해 주세요.
        지정하지 않은 경우 Google BigQuery를 통해 자동으로 위치를 파악합니다.
        자세한 내용은 BigQuery 공식 문서 - 위치 지정하기에서 확인할 수 있습니다.

        작업 시작 설정

        품목명필수기본값내용
        작업의 병렬 실행✓병렬로 작업을 실행하지 않음작업 실행 시점에 동일한 데이터마트 정의에 따른 다른 작업이 실행 중인 경우 작업 실행 여부를 선택합니다.
      • 병렬로 작업을 실행하지 않음: 작업은 실행되지 않고 건너뜁니다.
      • 병렬 작업 실행 허용: 작업이 실행됩니다.

        • 필요한 권한

        이용에 필요한 권한은 다음과 같습니다.

        • bigquery.datasets.get
        • bigquery.jobs.create
        • bigquery.tables.create
        • bigquery.tables.delete
        • bigquery.tables.get
        • bigquery.tables.getData
        • bigquery.tables.list
        • bigquery.tables.update
        • bigquery.tables.updateData
        이 문서가 도움이 되었습니까?
        What's Next