전송처 - Databricks
- 인쇄
- PDF
전송처 - Databricks
- 인쇄
- PDF
기사 요약
이 요약이 도움이 되었나요?
의견을 보내 주셔서 감사합니다.
개요
Databricks로 데이터를 전송하는 설정 도움말 페이지입니다.
제약조건
사용할 수 없는 데이터 유형
- 다음 타입은 Databricks JDBC Driver에서 지원하지 않는 타입으로, 전송 대상 테이블의 컬럼에 존재할 경우 오류가 발생합니다.
TIMESTAMP_NTZ
( 현재 JDBC 드라이버에서 TIMESTAMP_NTZ 유형은 아직 지원되지 않음 )INTERVAL
( Delta Lake는 INTERVAL 타입을 지원하지 않음 )
- 다음 타입은 지원되지 않으므로 컬럼으로 값을 전송할 수 없습니다.
BINARY
ARRAY
MAP
STRUCT
설정 항목
STEP1 기본 설정
품목명 | 필수 | 기본값 | 내용 |
---|---|---|---|
Databricks 연결 정보 | 예 | ----------------------------------------------------------------------------------------------. | 미리 등록되어 있는 Databricks의 접속 정보 중 이번 전송 설정에 필요한 권한이 있는 것을 선택합니다. |
카탈로그명 | 예 | ----------------------------------------------------------------------------------------------. | 전송할 카탈로그 이름을 선택합니다. |
스키마 이름 | 예 | ----------------------------------------------------------------------------------------------. | 전송할 스키마 이름을 선택합니다. |
테이블 | 예 | ----------------------------------------------------------------------------------------------. | 전송할 테이블 이름을 선택합니다. 대상 테이블이 전송 대상 데이터베이스 스키마에 존재하지 않는 경우 자동으로 생성됩니다. |
전송 모드 | 예 | 추기 (INSERT) | 전송 모드를 선택합니다. 자세한 내용은 후술하는 전송 모드에 대해 참고하세요. |
병합 키 | No | ----------------------------------------------------------------------------------------------. | 전송 모드에서UPSERT (MERGE) 를 선택했을 때 입력할 수 있습니다.주키가 전송 대상 테이블에 존재하지 않는 경우, 병합 키(주키)로 처리할 컬럼의 이름을 입력합니다. 병합 키에는 값이 중복되지 않고 NULL 값이 없는 컬럼을 입력해야 합니다. |
STEP1 세부 설정
품목명 | 기본값 | 내용 |
---|---|---|
배치 크기 (MB) | 50 | 배치 크기를 지정합니다. |
기본 시간대 | Etc/UTC | 기본 시간대를 지정합니다. |
STEP2 출력 옵션
품목명 | 기본값 | 자세히 보기 |
---|---|---|
컬럼 설정 | ----------------------------------------------------------------------------------------------. | 임시 테이블을 만들 때 컬럼을 지정합니다. 타입의 기본값은 다음과 같습니다.부울: boolean : BOOLEAN string``:STR INGlong : BIGINT double : DOUBLE 타임 스탬프: 타임 스탬프 TIMESTAMP json : STRING 상기 이외의 사용을 원할 경우 설정이 필요합니다. 지정할 수 있는 타입에 대한 자세한 내용은 Databricks 공식 문서 - Data types를 참고하세요. (단, 사용할 수 없는 데이터 유형에 명시된 데이터 유형은 제외) |
스키마 관련 설정이 적용되는 조건
STEP2 출력 옵션의 컬럼 설정 내용은 테이블을 새로 생성하는 경우에만 적용됩니다.
구체적으로 다음과 같은 조건에서 작업을 실행할 때 적용됩니다.
- 전송 대상 테이블이 존재하지 않는 경우
- 전송 모드에서 전건 교체
(REPLACE)
를 선택한 경우- 이 경우 전송할 때마다 전송 대상 테이블의 스키마가 업데이트되기 때문에 컬럼 설정 내용은 매번 적용된다.
보충 사항
전송 모드에 대하여
전송 모드 | 내용 |
---|---|
추기 (INSERT) | 먼저 임시 테이블을 생성하고 데이터를 전송합니다. 모든 임시 테이블 생성이 완료되면 대상 테이블에 데이터를 삽입합니다. |
추기 (INSERT DIRECT) | 대상 테이블에 직접 행을 삽입합니다. 전송이 중간에 실패하면 대상 테이블에 데이터가 일부 삽입되어 있을 수 있습니다. |
전건 교체 (TRUNCATE INSERT) | 먼저 임시 테이블을 생성하고 임시 테이블로 데이터를 전송합니다. 모든 임시 테이블 생성이 완료되면 대상 테이블의 내용을 삭제한 후 대상 테이블에 데이터를 삽입합니다. |
전건 교체 (REPLACE) | 먼저 임시 테이블을 생성하고 데이터를 전송합니다. 임시 테이블 생성이 완료되면 대상 테이블을 삭제하고 임시 테이블을 대상 이름으로 변경합니다. 전송이 중간에 실패하면 대상 테이블이 삭제될 수 있습니다. |
UPSERT (MERGE) | 먼저 임시 테이블을 생성하고 데이터를 전송합니다. 모든 임시 테이블 생성이 완료되면 다음과 같이 처리합니다. 대상 테이블에 대해 임시 테이블의 병합 키와 값이 일치하는 행은 업데이트되고, 일치하지 않는 행은 삽입됩니다. |
이 문서가 도움이 되었습니까?