目次 x
    転送先 - S3 Parquet
    • 15 Nov 2023
    • 印刷
    • ダーク
      ライト
    • PDF
    目次

    転送先 - S3 Parquet

    • 更新日 15 Nov 2023
    • 印刷
    • ダーク
      ライト
    • PDF
    Article Summary

    概要

    Amazon Web ServicesのS3にApache Parquet（.parquet）形式でデータを転送する設定のヘルプページです。

    制約

    • 特になし

    設定項目

    STEP1 基本設定

    項目名必須デフォルト値内容
    S3接続情報Yes-あらかじめ登録してある接続情報から、今回の転送設定に必要な権限を持つものを選択します。
    接続情報の設定方法は別ページをご参照ください。
    リージョンYesap-northeast-1利用するバケットを作成する際に指定したリージョンを入力してください。
    なお、リージョンについての説明はAWSの公式ページをご参照ください。
    バケットYes-データの転送先バケット名を指定してください。
    パスプレフィックスYes-データの転送先パスプレフィックスを指定してください。
    troccoは転送先バケットに、パスプレフィックスから始まる複数のファイルを出力します。
    カスタム変数を利用し、troccoのデータ転送時に動的に設定値を決定することも可能です。
    圧縮形式Yesuncompressedファイルの圧縮方式を指定します。
    ・umcompressed
    ・snappy
    ・gzip
    ・lzo
    ・broti
    ・lz4
    ・zstd
    から選択できます。

    STEP2 詳細設定

    項目名デフォルト値内容
    複数ファイル出力時の命名規則.%03d.%02d複数のファイルを出力する際の、ファイルの名前に関する規則を設定することができます。
    出力ファイルの拡張子parquet-
    デフォルトのタイムスタンプのフォーマット%Y-%m-%d %H:%M:%S.%6N %z-
    デフォルトのタイムゾーンUTC-
    ブロックサイズ(byte)134217728-
    ページサイズ(byte)1048576-
    最大パディングサイズ(byte)8388608-
    データカタログの設定しない-
    カラム設定--
    この記事は役に立ちましたか?
    What's Next