転送元 - HTTP・HTTPS
- 20 Jul 2023
- 1 分で読み終わります
- 印刷
- ダークライト
転送元 - HTTP・HTTPS
- 更新日 20 Jul 2023
- 1 分で読み終わります
- 印刷
- ダークライト
Article Summary
Share feedback
Thanks for sharing your feedback!
概要
HTTP・HTTPSプロトコルのWebサービスからデータを取得する設定のヘルプページです。
対応プロトコル
- データ転送(Embulk)
制約
OAuth 2.0を利用した接続に関する制約
OAuth 2.0を利用する場合、以下の制約事項があります。
- グラントタイプには、認可コードグラント(Authorization code grant)にのみ対応しています。
- そのほかのグラントタイプには対応していません。
- 転送ジョブの実行時にデータソースに接続する際の認証方法には、Bearer認証にのみ対応しております。
- そのほかの認証方法には対応していません。
- 認可コードの取得、トークンの取得・更新の際に利用されるパラメータは、OAuth 2.0の標準的な仕様に準拠していることを想定しています。
- 詳しくは、troccoにおける認可コードの取得およびトークンの取得・更新方法を参照ください。
- 転送ジョブの実行中にアクセストークンの有効期限が切れた場合、転送ジョブは失敗します。
- この場合、アクセストークンの有効期限内に転送ジョブが完了するように、転送設定を修正してください。
- 転送設定STEP2のフィルター設定にて、取得対象のレコード数を削減するなどの対応が考えられます。
設定項目
STEP1 基本設定
項目名 | 必須 | デフォルト値 | 内容 |
---|---|---|---|
認可 | No | OFF | OAuth 2.0を利用するかどうかを選択します。 |
HTTP・HTTPSの接続情報 | Yes | - | OAuth 2.0を利用するを有効にした場合に、選択項目が表示されます。 あらかじめ登録してあるHTTP・HTTPSの接続情報から、今回の転送設定に必要な権限を持つものを選択します。 |
URL | Yes | - | 転送データの取得元となるURLを入力します。 |
HTTPメソッド | Yes | GET | データ取得元へのHTTPメソッドを以下より選択します。GET POST |
ユーザーエージェント | No | - | リクエストヘッダに指定する、ユーザーエージェント名を入力できます。 |
文字エンコーディング | No | UTF-8 | リクエストヘッダに指定する、文字コードを入力できます。 |
入力ファイル形式 | Yes | CSV/TSV | 入力ファイルの形式を選択します。 詳しくは、入力ファイル形式の設定についてを参照ください。 |
ページング機能 | Yes | 無効 | 有効にすると、ページングリクエストを含めることができます。 詳しくは、ページング設定を参照ください。 |
パラメータ | No | - | クエリパラメータに任意のkey/valueを追加できます。 |
HTTPヘッダ | No | - | HTTPヘッダに任意のkey/valueを追加できます。 OAuth 2.0を利用する場合は、HTTPヘッダにアクセストークンを追加する必要はありません。 |
STEP2 詳細設定
項目名 | デフォルト値 |
---|---|
接続タイムアウト (ミリ秒) | 2,000 |
読み取りタイムアウト (ミリ秒) | 10,000 |
最大リトライ回数 | 5 |
リトライ間隔 (ミリ秒) | 10,000 |
リクエスト間隔 (ミリ秒) | 0 |
ページング設定
ページング機能を有効にすると、ページング設定の各種入力項目が表示されます。
ページング設定を行うことで、転送データを取得するときに、ページングリクエストを含めることができます。
項目名 | 必須 | デフォルト値 | 内容 |
---|---|---|---|
from/offsetパラメータ名 | Yes | - | ページングリクエストのfrom/offsetパラメータ名を入力します。 |
toパラメータ名 | No | - | ページングリクエストのtoパラメータ名を入力できます。 |
リクエスト回数 | Yes | 1 | ページングリクエストのリクエスト回数を入力します。 |
from/offsetパラメータ初期値 | Yes | 0 | ページングリクエストのfrom/offsetパラメータの初期値を入力します。 |
1リクエストで進めるfrom/offsetパラメータの数 | Yes | 1 | ページングリクエストの1リクエストで進めるfrom/offsetパラメータの数を入力します。 |
ページング設定の入力例
ページングリクエストにfromとtoを用いる場合
項目名 | 値 |
---|---|
from/offsetパラメータ名 | from |
toパラメータ名 | to |
リクエスト回数 | 4 |
from/offsetパラメータ初期値 | 1 |
1リクエストで進めるfrom/offsetパラメータの数 | 10 |
この場合、以下のリクエストパラメータが追加されます。
?from=1&to=10
?from=11&to=20
?from=21&to=30
?from=31&to=40
ページングリクエストにpageを用いる場合
項目名 | 値 |
---|---|
パラメータ(key) | size |
パラメータ(value) | 100 |
from/offsetパラメータ名 | page |
リクエスト回数 | 4 |
from/offsetパラメータ初期値 | 1 |
1リクエストで進めるfrom/offsetパラメータの数 | 1 |
この場合、以下のリクエストパラメータが追加されます。
?page=1&size=100
?page=2&size=100
?page=3&size=100
?page=4&size=100
この記事は役に立ちましたか?