전송원 - HTTP・HTTPS
    • PDF

    전송원 - HTTP・HTTPS

    • PDF

    기사 요약

    개요

    HTTP, HTTPS 프로토콜의 웹 서비스에서 데이터를 가져오는 설정에 대한 도움말 페이지입니다.

    제약조건

    OAuth 2.0을 이용한 연결 관련 제약사항

    OAuth 2.0을 이용할 경우 다음과 같은 제약사항이 있습니다.
    - 보조금 유형은 승인 코드 보조 금(Authorization code grant)에만 대응하고 있습니다.
    - 그 외의 보조금 유형은 지원하지 않습니다.
    - 전송 작업 실행 시 데이터 소스에 접속할 때 인증 방법은 Bearer 인증만 지원합니다.
    - 그 외의 인증 방법은 지원하지 않습니다.
    - 인증 코드 획득, 토큰 획득 및 업데이트 시 사용되는 파라미터는 OAuth 2.0의 표준 사양을 준수하는 것을 전제로 한다.
    - 자세한 내용은 TROCCO의 인증 코드 획득 및 토큰 획득 및 갱신 방법을 참고하시기 바랍니다.
    - 전송 작업 실행 중 액세스 토큰이 만료되면 전송 작업이 실패합니다.
    - 이 경우 액세스 토큰의 유효기간 내에 전송 작업이 완료될 수 있도록 전송 설정을 수정해야 합니다.
    - 전송 설정 STEP2의 필터 설정에서 수집 대상 레코드 수를 줄이는 등의 대응이 가능합니다.

    설정 항목

    STEP1 기본 설정

    품목명필수기본값내용
    승인NoOFFOAuth 2.0 이용 여부를 선택합니다.
    HTTP, HTTPS 연결 정보----------------------------------------------------------------------------------------------.OAuth 2.0을 사용하도록 설정한 경우 선택 항목이 표시됩니다.
    미리 등록되어 있는 HTTP, HTTPS 연결 정보 중 이번 전송 설정에 필요한 권한이 있는 것을 선택합니다.
    URL----------------------------------------------------------------------------------------------.전송 데이터를 가져올 URL을 입력합니다.
    HTTP 메소드GET아래에서 데이터 수집을 위한 HTTP 메소드를 선택합니다.
  • GET
  • POST
  • 사용자 에이전트No----------------------------------------------------------------------------------------------.요청 헤더에 지정할 사용자 에이전트 이름을 입력할 수 있습니다.
    문자 인코딩NoUTF-8요청 헤더에 지정할 문자 코드를 입력할 수 있습니다.
    입력 파일 형식CSV/TSV입력 파일의 형식을 선택합니다.
    자세한 내용은 입력 파일 형식 설정을 참고하세요.
    페이징 설정비활성화아래에서 페이징 설정을 선택합니다.
  • 비활성화
  • 오프셋 베이스
  • 커서 베이스

  • 페이징 요청을 사용하는 경우, 요청 대상의 사양에 따라 오프셋 기반 또는 커서 기반 중 하나를 선택해야 합니다.
    자세한 내용은 페이징 설정을 참조하세요.
    매개변수No----------------------------------------------------------------------------------------------.쿼리 파라미터에 임의의 key/ value를 추가할 수 있습니다.
    요청 본문No----------------------------------------------------------------------------------------------.HTTP 메소드에서POST를 선택한 경우 입력할 수 있습니다.
    요청 본문에 임의의 key/ value를 추가할 수 있습니다.
    단, 페이징 설정이 활성화되어 있거나 파라미터를 지정한 경우 이 입력값은 요청 본문에 반영되지 않습니다.
    HTTP 헤더No----------------------------------------------------------------------------------------------.HTTP 헤더에 임의의 key/ value를 추가할 수 있습니다.
    OAuth 2.0을 이용하는 경우 HTTP 헤더에 액세스 토큰을 추가할 필요가 없습니다.

    STEP1 상세 설정

    상세 설정을 클릭하면 다음과 같은 설정 항목이 표시됩니다.

    품목명필수기본값내용
    전송 데이터 취득 시 정상계로 판단하는 상태 코드200200자리 세 자리 숫자만 입력할 수 있습니다.
    여러 개의 상태 코드를 설정할 경우 200,201,202와 같이 쉼표로 구분하여 입력하세요.

    STEP2 세부 설정

    품목명기본값
    연결 시간 초과 (밀리초)2,000
    읽기 타임아웃 (밀리초)10,000
    최대 재시도 횟수5
    재시도 간격 (밀리초)10,000
    요청 간격 (밀리초)0

    페이징 설정

    페이징 설정에서****오프셋 기반 또는 커서****기반을 선택하면 전송 데이터 수집 시 페이징 요청을 포함시킬 수 있습니다.
    선택 항목에 따라 설정 항목이 다릅니다.

    오프셋 베이스를 선택한 경우

    품목명필수기본값내용
    from/offset 파라미터 이름----------------------------------------------------------------------------------------------.페이징 요청의 from/offset 파라미터 이름을 입력합니다.
    to 매개변수 이름No----------------------------------------------------------------------------------------------.페이징 요청의 to 파라미터 이름을 입력할 수 있습니다.
    요청 횟수1페이징 요청의 요청 횟수를 입력합니다.
    from/offset 파라미터 초기값0페이징 요청의 from/offset 파라미터의 초기값을 입력합니다.
    한 번의 요청으로 진행할 from/offset 파라미터 수1페이징 요청 1건당 진행하고자 하는 from/offset 파라미터의 개수를 입력합니다.

    오프셋 기반 입력 예시: 오프셋 기반 페이징 요청에 from과 to를 사용하는 경우

    품목명
    from/offset 파라미터 이름from
    to 매개변수 이름to
    요청 횟수4
    from/offset 파라미터 초기값1
    한 번의 요청으로 진행할 from/offset 파라미터 수10

    이 경우 다음과 같은 요청 파라미터가 추가됩니다.

    1. ?from=1&to=10
    2. ?from=11&to=20
    3. ?from=21&to=30
    4. ?from=31&to=40

    오프셋 기반 입력 예시: 페이징 요청에 page와 size를 사용하는 경우

    품목명
    파라미터(key)사이즈
    매개변수 ( value)100
    from/offset 파라미터 이름페이지
    요청 횟수4
    from/offset 파라미터 초기값1
    한 번의 요청으로 진행할 from/offset 파라미터 수1

    이 경우 다음과 같은 요청 파라미터가 추가됩니다.

    1. ?page=1&size=100
    2. ?page=2&size=100
    3. ?page=3&size=100
    4. ?page=4&size=100

    커서 베이스를 선택한 경우

    페이징 요청 완료 조건

    커서 기반 페이징 설정으로 설정한 경우, 응답 데이터의 커서가 다음 중 하나가 될 때까지 요청을 반복합니다.
    - 커서가 포함되지 않음
    - 커서 값이 null인 경우

    따라서 데이터를 얻고자 하는 서비스의 API 사양이 다음 중 하나에 해당하는 경우에만 커서베이스를 사용할 수 있습니다.
    - 후속 페이지가 더 이상 존재하지 않는 경우 응답 데이터에 커서가 포함되지 않습니다.
    - 후속 페이지가 더 이상 존재하지 않는 경우, 응답 데이터의 커서 값이 null인 경우

    만약 위 사양을 만족하지 않는 사양의 API를 이용하여 생성한 전송 설정으로 작업을 실행한 경우, 해당 작업을 수동으로 취소해야 합니다.

    요청에 사용한 커서와 응답의 커서 값이 동일한 경우

    이 경우 잘못된 응답으로 판단하여 전송 작업이 실패합니다.
    오류 로그에는 다음과 같은 내용이 출력됩니다.
    요청 커서 파라미터와 응답 커서 파라미터는 동일하며, request_parameter_cursor_name 파라미터를 확인하시기 바랍니다.

    품목명필수내용
    응답 데이터에 포함된 커서 경로(JSONPath 표기법)응답 데이터에서 커서 값을 추출할 때 사용합니다.
    JSONPath 기법으로 입력합니다.
    요청 시 커서를 설정하는 파라미터 이름요청 시 사용합니다.
    이전 페이지의 응답 데이터에서 받은 커서를 설정할 파라미터 이름을 입력합니다.
    1건의 요청으로 가져오는 최대 레코드 개수를 설정하는 파라미터명No요청 시 사용합니다.
    요청당 최대 데이터 조회 건수를 지정하는 파라미터 이름을 입력합니다.
    1건의 요청으로 가져올 수 있는 최대 레코드 수가 미입력된 경우, 이 입력값은 사용되지 않습니다.
    한 번의 요청으로 얻을 수 있는 최대 레코드 수No요청 시 사용합니다.
    요청당 최대 데이터 조회 건수를 지정합니다.
    1건의 요청으로 조회할 최대 레코드 수를 설정하는 파라미터 이름이 입력되지 않은 경우, 이 입력값은 사용되지 않습니다.

    커서 기반 입력 예시

    커서 기반 응답 데이터 구조가 다음과 같은 경우의 입력 예시입니다.

    {
      "items": [
        { ... },
        { ... },
        ...
      ], , , , , .
      "responseMetaData": {
        "nextCursor": "SAMPLE_CURSOR",
        ...
      }, }
      ...
    }
    
    품목명
    응답 데이터에 포함된 커서 경로(JSONPath 표기법).responseMetaData.nextCursor
    요청 시 커서를 설정하는 파라미터 이름cursor
    1건의 요청으로 가져오는 최대 레코드 개수를 설정하는 파라미터명limit
    한 번의 요청으로 얻을 수 있는 최대 레코드 수100

    이 경우, ?cursor=SAMPLE_CURSOR&limit=100과 같은 요청 파라미터가 추가된다.

    예를 들어, 550개의 레코드가 존재하는 데이터에 대한 요청이라면 위와 같은 요청이 6번 실행된다.
    5회차까지의 응답에는 100레코드 분량의 데이터가 포함되며, 6회차 응답에는 50레코드 분량의 데이터가 포함된다.
    후속 데이터가 존재하지 않는 6번째 응답 데이터에는 커서가 포함되지 않으므로 7번째 요청은 실행하지 않고 데이터 수집을 완료합니다.


    이 문서가 도움이 되었습니까?