차등 전송 기능
- 인쇄
- PDF
차등 전송 기능
- 인쇄
- PDF
기사 요약
이 요약이 도움이 되었나요?
의견을 보내 주셔서 감사합니다.
개요
전송 설정 내 전송처에서 지정할 수 있는 '차등 전송 기능'의 도움말 페이지입니다.
차등전송이란?
이전 전송 시점의 증분 데이터만 전송하는 모드입니다.
차등 전송을 활성화한 경우, 전송 시 '어디까지 전송했는지'를 유지합니다.
따라서 이전 전송 이후 추가된 새로운 파일을 식별할 수 있으며, 해당 증분 파일만 전송하는 동작을 수행합니다.
대응 커넥터
데이터베이스계
전송처 - MongoDB
전송처 - MySQL
전송처 - Oracle Database
전송처 - PostgreSQL
전송처 - Microsoft SQL Server
파일 및 스토리지 시스템
전송처 - Amazon S3
전송처 - Azure Blob Storage
전송처 - FTP・FTPS
전송처 - Google Cloud Storage
전송처 - TROCCO 웹 행동 로그
전송처 - SFTP
앱 계열
클라우드 애플리케이션계
전송처 - Google Analytics
전송처 - Google Analytics 4
전송처 - HubSpot
전송처 - KARTE Datahub
전송처 - Repro
최초 전송 시 동작
차등 전송을 지정한 경우에도 최초 전송 시에는 모든 건을 전송합니다.
최초 전송 시에도 마지막으로 전송된 레코드 경로에 파일 경로 등을 지정하여 임의의 파일 이후의 파일을 전송할 수 있습니다.
자세한 내용은 설정값 항목을 참고하세요.
설정값
데이터베이스 계열 커넥터
컬럼을 이용하여 차등 전송을 수행합니다.
'증분 데이터 판별 컬럼'의 값이 '마지막으로 전송된 레코드'의 값보다 큰 레코드만 가져옵니다.
| 품목명 | 설명 |
|---|---|
| 증분 데이터를 판별하는 컬럼 | 차등 전송의 원본이 될 열을 지정합니다. 레코드에 대해 고유한 Auto Incremental ID 컬럼 등이 있는 경우 해당 컬럼 이름을 지정해 주세요. 여러 열 이름을 쉼표로 구분하여 지정할 수도 있습니다. |
| 마지막으로 전송된 레코드 | 일반적으로 이 양식은 편집하지 않습니다(TROCCO가 자동으로 업데이트합니다). 작업 실행에 이상이 발생하거나, 처음 전송할 때 임의의 위치에서 전송을 실행하고 싶을 때만 이 양식을 편집합니다. 이 양식에는 '지난번 전송할 때 어디까지 전송했는지'에 대한 정보를 입력합니다. |
파일 및 스토리지 관련 커넥터
패스 프리픽스를 이용하여 차등 전송을 수행합니다.
파일명을 오름차순으로 정렬했을 때 '마지막으로 전송된 경로'보다 뒤쪽에 있는 파일을 증분으로 판단하여 데이터를 가져옵니다.
따라서 파일 업데이트 날짜의 증분으로 구분할 수 없다는 점에 유의하시기 바랍니다.
| 품목명 | 설명 |
|---|---|
| 마지막으로 전송된 경로 | 일반적으로 이 양식은 편집하지 않습니다(TROCCO가 자동으로 업데이트합니다). 작업 실행에 이상이 발생하거나, 처음 전송할 때 임의의 위치에서 전송을 실행하고 싶을 때만 이 양식을 편집합니다. 이 양식에는 '지난번 전송할 때 어디까지 전송했는지'에 대한 정보를 입력합니다. |
마지막으로 전송된 레코드, 마지막으로 전송된 경로의 값
이 값들은 각각 last_record, last_path라는 키의 값으로 전송 설정 STEP3의 확인 및 적용(및 변경 내역의 최신 리비전)에 표시된다.
한편, 이러한 값은 전송 설정 상세 화면에서 확인할 수 있는 YAML 설정 파일에 포함되지 않는다.
따라서 Git 리포지토리 연동 시 이 값들은 Git 연동이 되지 않습니다.
파일 및 스토리지 시스템의 차등 전송 예시
예를 들어, S3 버킷에 다음과 같은 파일이 있는 상태에서 전송을 수행합니다.
001.csv002.csv003.csv
이때 마지막으로 전송된 경로에는003.csv가 저장된다.
이 상태에서 000.csv와``004.csv를 버킷에 추가하고 다시 전송을 실행했다고 가정해보자.
000.csv는 전송되지 않고 004.csv만 전송됩니다.
참고로, 새로 전송된 마지막 경로에는004.csv가 저장됩니다.
Google Analytics・Google Analytics4・HubSpot
최신 레코드 업데이트 날짜를 이용하여 차등 전송을 수행합니다.
마지막으로 가져온 레코드의 마지막 업데이트 날짜 이후 새로 업데이트된 레코드를 전송합니다.
| 품목명 | 설명 |
|---|---|
| 최신 기록 업데이트 날짜 | 일반적으로 이 양식은 편집하지 않습니다(TROCCO가 자동으로 업데이트합니다). 작업 실행에 이상이 발생하거나, 최초 전송 시 임의의 시간 이후 데이터를 전송하고 싶은 경우에만 이 양식을 편집합니다. 이 양식에는 '지난번 전송할 때 어디까지 전송했는지'에 대한 정보를 입력합니다. 만약 입력할 경우 yyyy-mm-dd HH:MM:SS z 형식으로 입력해 주세요. |
임의의 데이터에서 전송을 재개하고 싶은 경우
마지막으로 전송된 레코드 경로 또는 최신 레코드 업데이트 날짜를 편집하여 원하는 위치에서 전송을 재개할 수 있습니다.
단, 이미 전송된 파일을 다시 전송할 경우 전송처에서 데이터가 중복될 수 있습니다. 필요에 따라 데이터를 삭제한 후 재실행해 주시기 바랍니다.
이 문서가 도움이 되었습니까?