転送元 - S3
  • 23 Aug 2022
  • 1 分で読み終わります
  • ダーク
    ライト

転送元 - S3

  • ダーク
    ライト

概要

Amazon Web ServicesのS3からデータを転送する設定のヘルプページです。

対応プロトコル

  • データ転送(Embulk)
    embulk-input-s3を使用
  • ファイルコピー(ただし、転送先がSFTPの時に限る)

制約

設定項目

STEP1 基本設定

項目名 必須 デフォルト値 内容
S3接続情報 Yes - あらかじめ登録してある接続情報から、今回の転送設定に必要な権限を持つものを選択します。
接続情報の設定方法は別ページ をご参照ください。
リージョン Yes ap-northeast-1 転送元S3バケットのリージョンを入力してください。
なお、リージョンについての説明はAWSの公式ページをご参照ください。
バケット Yes - 転送元のS3バケット名を入力してください。
パスプレフィックス No - 転送対象のデータを、パスプレフィックスで指定してください。
ディレクトリ名までを指定した場合、ディレクトリ配下の(プレフィックスにマッチする)全ファイルを転送します。
一方ファイル名までを指定した場合、そのファイルのみを転送します。
カスタム変数 を利用し、troccoのデータ転送時に動的に設定値を決定することも可能です。
パスの正規表現 No - 正規表現を入力することで、パスプレフィックス配下のどのファイルを転送対象とするか、指定することが出来ます。
未入力の場合、パスプレフィックスにマッチする全てのファイルが対象になります。
解凍形式 Yes 自動判定 自動判定かzip形式、tar.gz形式から解凍方法を設定してください。変更後は、必ず自動データ設定を行ってください。
入力ファイル形式 Yes CSV/TSV 入力ファイルの形式を指定してください。
  • CSV/TSV
  • JSON Lines
  • JSON Path
  • LTSV
  • の中からお選びください。
    詳しくはこちらをご覧ください。
    転送方法 Yes 全件転送 転送データを指定する方法として、全件転送差分転送を選ぶことができます。
    差分転送に関しては、こちらもご参照ください。
    CSVファイル形式 Yes ヘッダー列を含む
    CSVファイル
    ここでは、ヘッダー列を含むCSVファイルヘッダー列を含まないCSVファイルをお選びいただけます。
    ヘッダー列を含まないCSVファイルの場合、trocco側で生成した仮のヘッダー名を割り当てます。

    STEP2 詳細設定

    項目名 必須 デフォルト値 内容
    指定のパスにファイルが存在しなかった場合に転送を続行するか Yes 転送を続行する 基本設定にて指定したパスにファイルが見つからなかった場合に転送を続行させるかどうかお選びいただけます。
    転送を続行するを選択した場合は0件転送したとして転送ジョブが完了します。
    転送を中止し、エラーにするを選択した場合はエラーとして転送ジョブを中止します。

    この記事は役に立ちましたか?