전송처 - Databricks
    • PDF

    전송처 - Databricks

    • PDF

    기사 요약

    개요

    Databricks로 데이터를 전송하는 설정 도움말 페이지입니다.

    제약조건

    사용할 수 없는 데이터 유형

    설정 항목

    STEP1 기본 설정

    품목명필수기본값내용
    Databricks 연결 정보----------------------------------------------------------------------------------------------.미리 등록되어 있는 Databricks의 접속 정보 중 이번 전송 설정에 필요한 권한이 있는 것을 선택합니다.
    카탈로그명----------------------------------------------------------------------------------------------.전송할 카탈로그 이름을 선택합니다.
    스키마 이름----------------------------------------------------------------------------------------------.전송할 스키마 이름을 선택합니다.
    테이블----------------------------------------------------------------------------------------------.전송할 테이블 이름을 선택합니다.
    대상 테이블이 전송 대상 데이터베이스 스키마에 존재하지 않는 경우 자동으로 생성됩니다.
    전송 모드추기 (INSERT)전송 모드를 선택합니다.
    자세한 내용은 후술하는 전송 모드에 대해 참고하세요.
    병합 키No----------------------------------------------------------------------------------------------.전송 모드에서UPSERT (MERGE) 를 선택했을 때 입력할 수 있습니다.
    주키가 전송 대상 테이블에 존재하지 않는 경우, 병합 키(주키)로 처리할 컬럼의 이름을 입력합니다.
    병합 키에는 값이 중복되지 않고 NULL 값이 없는 컬럼을 입력해야 합니다.

    STEP1 세부 설정

    품목명기본값내용
    배치 크기 (MB)50배치 크기를 지정합니다.
    기본 시간대Etc/UTC기본 시간대를 지정합니다.

    STEP2 출력 옵션

    품목명기본값자세히 보기
    컬럼 설정----------------------------------------------------------------------------------------------.임시 테이블을 만들 때 컬럼을 지정합니다. 타입의 기본값은 다음과 같습니다.
  • 부울: boolean: BOOLEAN
  • string``:STR ING
  • long: BIGINT
  • double: DOUBLE
  • 타임 스탬프: 타임 스탬프 TIMESTAMP
  • json: STRING

  • 상기 이외의 사용을 원할 경우 설정이 필요합니다.
    지정할 수 있는 타입에 대한 자세한 내용은 Databricks 공식 문서 - Data types를 참고하세요.
    (단, 사용할 수 없는 데이터 유형에 명시된 데이터 유형은 제외)
    스키마 관련 설정이 적용되는 조건

    STEP2 출력 옵션의 컬럼 설정 내용은 테이블을 새로 생성하는 경우에만 적용됩니다.
    구체적으로 다음과 같은 조건에서 작업을 실행할 때 적용됩니다.

    • 전송 대상 테이블이 존재하지 않는 경우
    • 전송 모드에서 전건 교체 (REPLACE) 를 선택한 경우
      • 이 경우 전송할 때마다 전송 대상 테이블의 스키마가 업데이트되기 때문에 컬럼 설정 내용은 매번 적용된다.

    보충 사항

    전송 모드에 대하여

    전송 모드내용
    추기 (INSERT)먼저 임시 테이블을 생성하고 데이터를 전송합니다.
    모든 임시 테이블 생성이 완료되면 대상 테이블에 데이터를 삽입합니다.
    추기 (INSERT DIRECT)대상 테이블에 직접 행을 삽입합니다.
    전송이 중간에 실패하면 대상 테이블에 데이터가 일부 삽입되어 있을 수 있습니다.
    전건 교체 (TRUNCATE INSERT)먼저 임시 테이블을 생성하고 임시 테이블로 데이터를 전송합니다.
    모든 임시 테이블 생성이 완료되면 대상 테이블의 내용을 삭제한 후 대상 테이블에 데이터를 삽입합니다.
    전건 교체 (REPLACE)먼저 임시 테이블을 생성하고 데이터를 전송합니다.
    임시 테이블 생성이 완료되면 대상 테이블을 삭제하고 임시 테이블을 대상 이름으로 변경합니다.
    전송이 중간에 실패하면 대상 테이블이 삭제될 수 있습니다.
    UPSERT (MERGE)먼저 임시 테이블을 생성하고 데이터를 전송합니다.
    모든 임시 테이블 생성이 완료되면 다음과 같이 처리합니다.
    대상 테이블에 대해 임시 테이블의 병합 키와 값이 일치하는 행은 업데이트되고, 일치하지 않는 행은 삽입됩니다.

    이 문서가 도움이 되었습니까?