目次 x
    転送元 - HTTP・HTTPS
    • 20 Jul 2023
    • 1 分で読み終わります
    • 印刷
    • ダーク
      ライト
    目次

    転送元 - HTTP・HTTPS

    • 更新日 20 Jul 2023
    • 1 分で読み終わります
    • 印刷
    • ダーク
      ライト
    Article Summary

    概要

    HTTP・HTTPSプロトコルのWebサービスからデータを取得する設定のヘルプページです。

    対応プロトコル

    • データ転送（Embulk）

    制約

    OAuth 2.0を利用した接続に関する制約

    OAuth 2.0を利用する場合、以下の制約事項があります。

    • グラントタイプには、認可コードグラント（Authorization code grant）にのみ対応しています。
      • そのほかのグラントタイプには対応していません。
    • 転送ジョブの実行時にデータソースに接続する際の認証方法には、Bearer認証にのみ対応しております。
      • そのほかの認証方法には対応していません。
    • 認可コードの取得、トークンの取得・更新の際に利用されるパラメータは、OAuth 2.0の標準的な仕様に準拠していることを想定しています。
    • 転送ジョブの実行中にアクセストークンの有効期限が切れた場合、転送ジョブは失敗します。
      • この場合、アクセストークンの有効期限内に転送ジョブが完了するように、転送設定を修正してください。
      • 転送設定STEP2のフィルター設定にて、取得対象のレコード数を削減するなどの対応が考えられます。

    設定項目

    STEP1 基本設定

    項目名必須デフォルト値内容
    認可NoOFFOAuth 2.0を利用するかどうかを選択します。
    HTTP・HTTPSの接続情報Yes-OAuth 2.0を利用するを有効にした場合に、選択項目が表示されます。
    あらかじめ登録してあるHTTP・HTTPSの接続情報から、今回の転送設定に必要な権限を持つものを選択します。
    URLYes-転送データの取得元となるURLを入力します。
    HTTPメソッドYesGETデータ取得元へのHTTPメソッドを以下より選択します。
  • GET
  • POST
    • ユーザーエージェントNo-リクエストヘッダに指定する、ユーザーエージェント名を入力できます。
    文字エンコーディングNoUTF-8リクエストヘッダに指定する、文字コードを入力できます。
    入力ファイル形式YesCSV/TSV入力ファイルの形式を選択します。
    詳しくは、入力ファイル形式の設定についてを参照ください。
    ページング機能Yes無効有効にすると、ページングリクエストを含めることができます。
    詳しくは、ページング設定を参照ください。
    パラメータNo-クエリパラメータに任意のkey/valueを追加できます。
    HTTPヘッダNo-HTTPヘッダに任意のkey/valueを追加できます。
    OAuth 2.0を利用する場合は、HTTPヘッダにアクセストークンを追加する必要はありません。

    STEP2 詳細設定

    項目名デフォルト値
    接続タイムアウト (ミリ秒)2,000
    読み取りタイムアウト (ミリ秒)10,000
    最大リトライ回数5
    リトライ間隔 (ミリ秒)10,000
    リクエスト間隔 (ミリ秒)0

    ページング設定

    ページング機能を有効にすると、ページング設定の各種入力項目が表示されます。
    ページング設定を行うことで、転送データを取得するときに、ページングリクエストを含めることができます。

    項目名必須デフォルト値内容
    from/offsetパラメータ名Yes-ページングリクエストのfrom/offsetパラメータ名を入力します。
    toパラメータ名No-ページングリクエストのtoパラメータ名を入力できます。
    リクエスト回数Yes1ページングリクエストのリクエスト回数を入力します。
    from/offsetパラメータ初期値Yes0ページングリクエストのfrom/offsetパラメータの初期値を入力します。
    1リクエストで進めるfrom/offsetパラメータの数Yes1ページングリクエストの1リクエストで進めるfrom/offsetパラメータの数を入力します。

    ページング設定の入力例

    ページングリクエストにfromとtoを用いる場合

    項目名値
    from/offsetパラメータ名from
    toパラメータ名to
    リクエスト回数4
    from/offsetパラメータ初期値1
    1リクエストで進めるfrom/offsetパラメータの数10

    この場合、以下のリクエストパラメータが追加されます。

    1. ?from=1&to=10
    2. ?from=11&to=20
    3. ?from=21&to=30
    4. ?from=31&to=40

    ページングリクエストにpageを用いる場合

    項目名値
    パラメータ（key）size
    パラメータ（value）100
    from/offsetパラメータ名page
    リクエスト回数4
    from/offsetパラメータ初期値1
    1リクエストで進めるfrom/offsetパラメータの数1

    この場合、以下のリクエストパラメータが追加されます。

    1. ?page=1&size=100
    2. ?page=2&size=100
    3. ?page=3&size=100
    4. ?page=4&size=100
    この記事は役に立ちましたか?
    What's Next