転送先 - Amazon S3 Parquet
- 印刷
- PDF
転送先 - Amazon S3 Parquet
- 印刷
- PDF
記事の要約
この要約は役に立ちましたか?
ご意見ありがとうございます
概要
Amazon Web ServicesのS3にApache Parquet(.parquet)形式でデータを転送する設定のヘルプページです。
制約
- 特になし
設定項目
STEP1 基本設定
項目名 | 必須 | デフォルト値 | 内容 |
---|---|---|---|
S3接続情報 | Yes | - | あらかじめ登録してある接続情報から、今回の転送設定に必要な権限を持つものを選択します。 接続情報の設定方法は別ページをご参照ください。 |
リージョン | Yes | ap-northeast-1 | 利用するバケットを作成する際に指定したリージョンを入力してください。 なお、リージョンについての説明はAWSの公式ページをご参照ください。 |
バケット | Yes | - | データの転送先バケット名を指定してください。 |
パスプレフィックス | Yes | - | データの転送先パスプレフィックスを指定してください。 TROCCOは転送先バケットに、パスプレフィックスから始まる複数のファイルを出力します。 カスタム変数を利用し、TROCCOのデータ転送時に動的に設定値を決定することも可能です。 |
圧縮形式 | Yes | uncompressed | ファイルの圧縮方式を指定します。 ・umcompressed ・snappy ・gzip ・lzo ・broti ・lz4 ・zstd から選択できます。 |
STEP2 詳細設定
項目名 | デフォルト値 | 内容 |
---|---|---|
複数ファイル出力時の命名規則 | .%03d.%02d | 複数のファイルを出力する際の、ファイルの名前に関する規則を設定することができます。 |
出力ファイルの拡張子 | parquet | - |
デフォルトのタイムスタンプのフォーマット | %Y-%m-%d %H:%M:%S.%6N %z | - |
デフォルトのタイムゾーン | UTC | - |
ブロックサイズ(byte) | 134217728 | - |
ページサイズ(byte) | 1048576 | - |
最大パディングサイズ(byte) | 8388608 | - |
データカタログの設定 | しない | - |
カラム設定 | - | - |
この記事は役に立ちましたか?