転送先 - S3 Parquet
  • 28 Apr 2022
  • 1 分で読み終わります
  • ダーク
    ライト

転送先 - S3 Parquet

  • ダーク
    ライト

概要

Amazon Web ServicesのS3にApache Parquet(.parquet)形式でデータを転送する設定のヘルプページです。

対応プロトコル

制約

  • 特になし

設定項目

STEP1 基本設定

項目名 必須 デフォルト値 内容
S3接続情報 Yes - あらかじめ登録してある接続情報から、今回の転送設定に必要な権限を持つものを選択します。
接続情報の設定方法は別ページをご参照ください。
リージョン Yes ap-northeast-1 利用するバケットを作成する際に指定したリージョンを入力してください。
なお、リージョンについての説明はAWSの公式ページをご参照ください。
バケット Yes - データの転送先バケット名を指定してください。
パスプレフィックス Yes - データの転送先パスプレフィックスを指定してください。
troccoは転送先バケットに、パスプレフィックスから始まる複数のファイルを出力します。
カスタム変数を利用し、troccoのデータ転送時に動的に設定値を決定することも可能です。
圧縮形式 Yes uncompressed ファイルの圧縮方式を指定します。
・umcompressed
・snappy
・gzip
・lzo
・broti
・lz4
・zstd
から選択できます。

STEP2 詳細設定

項目名 デフォルト値 内容
複数ファイル出力時の命名規則 .%03d.%02d 複数のファイルを出力する際の、ファイルの名前に関する規則を設定することができます。
出力ファイルの拡張子 parquet -
デフォルトのタイムスタンプのフォーマット %Y-%m-%d %H:%M:%S.%6N %z -
デフォルトのタイムゾーン UTC -
ブロックサイズ(byte) 134217728 -
ページサイズ(byte) 1048576 -
最大パディングサイズ(byte) 8388608 -
データカタログの設定 しない -
カラム設定 - -

この記事は役に立ちましたか?