転送元 - S3
- 28 Apr 2022
- 1 分で読み終わります
-
印刷
-
ダークライト
転送元 - S3
- 更新日 28 Apr 2022
- 1 分で読み終わります
-
印刷
-
ダークライト
概要
Amazon Web ServicesのS3からデータを転送する設定のヘルプページです。
対応プロトコル
- データ転送（Embulk）
embulk-input-s3を使用 - ファイルコピー（ただし、転送先がSFTPの時に限る）
制約
- 転送容量の制限あり
設定項目
STEP1 基本設定
| 項目名 | 必須 | デフォルト値 | 内容 |
|---|---|---|---|
| S3接続情報 | Yes | - | あらかじめ登録してある接続情報から、今回の転送設定に必要な権限を持つものを選択します。 接続情報の設定方法は別ページ をご参照ください。 |
| リージョン | Yes | ap-northeast-1 | 転送元S3バケットのリージョンを入力してください。 なお、リージョンについての説明はAWSの公式ページをご参照ください。 |
| バケット | Yes | - | 転送元のS3バケット名を入力してください。 |
| パスプレフィックス | No | - | 転送対象のデータを、パスプレフィックスで指定してください。 ディレクトリ名までを指定した場合、ディレクトリ配下の（プレフィックスにマッチする）全ファイルを転送します。 一方ファイル名までを指定した場合、そのファイルのみを転送します。 カスタム変数 を利用し、troccoのデータ転送時に動的に設定値を決定することも可能です。 |
| パスの正規表現 | No | - | 正規表現を入力することで、パスプレフィックス配下のどのファイルを転送対象とするか、指定することが出来ます。 未入力の場合、パスプレフィックスにマッチする全てのファイルが対象になります。 |
| 解凍設定 | Yes | 自動判定 | 自動判定かzip形式、tar.gz形式から解凍方法を設定してください。変更後は、必ず自動データ設定を行ってください。 |
| 入力ファイル形式 | Yes | CSV/TSV | 入力ファイルの形式を指定してください。 詳しくはこちらをご覧ください。 |
| 転送方法 | Yes | 全件転送 | 転送データを指定する方法として、全件転送か差分転送を選ぶことができます。 差分転送に関しては、こちら もご参照ください。 |
| CSVファイル形式 | Yes | ヘッダー列を含む CSVファイル |
ここでは、ヘッダー列を含むCSVファイルかヘッダー列を含まないCSVファイルをお選びいただけます。 ヘッダー列を含まないCSVファイルの場合、trocco側で生成した仮のヘッダー名を割り当てます。 |
STEP2 詳細設定
| 項目名 | 必須 | デフォルト値 | 内容 |
|---|---|---|---|
| 指定のパスにファイルが存在しなかった場合に転送を続行するか | Yes | 転送を続行する | 基本設定にて指定したパスにファイルが見つからなかった場合に転送を続行させるかどうかお選びいただけます。 転送を続行するを選択した場合は0件転送したとして転送ジョブが完了します。 転送を中止し、エラーにするを選択した場合はエラーとして転送ジョブを中止します。 |
この記事は役に立ちましたか？