転送元 - Amazon Athena

Prev Next

概要

Amazon Athenaからデータを転送する設定のDocsです。

制約

https://github.com/trocco-io/embulk-input-athena

設定項目

STEP1 基本設定

項目 必須 デフォルト値 内容
Athena接続情報 Yes - あらかじめ登録してある接続情報から、今回の転送設定に必要な権限を持つものを選択します。
データベース名 Yes - 取得したいデータが入っているデータベース名を指定してください。
SQL Yes - Amazon Athenaから転送データを取得するためのSQLを入力します。
カラム Yes - 取得したいカラムのカラム名とデータ型を指定します。
データ型は
  • string
  • long
  • double
  • timestamp
  • boolean
  • json
を指定できます。

必要な権限

ご利用いただくにあたって必要な権限は以下となります。

  • Amazon Athenaのオブジェクト読み取り許可
    • Action
      • s3:GetObject
      • s3:ListBucket
    • Resource
      • arn:aws:s3:::your-data-source-bucket/path-prefix/*
      • arn:aws:s3:::your-data-source-bucket
  • S3への書き込み許可
    • Action
      • s3:PutObject
      • s3:GetObject
      • s3:ListBucketMultipartUploads
      • s3:AbortMultipartUpload
      • s3:ListBucket
      • s3:GetBucketLocation
      • s3:ListMultipartUploadParts
    • Resource
      • arn:aws:s3:::your-result-bucket
      • arn:aws:s3:::your-result-bucket/path-prefix/*
  • Amazon Athenaの実行許可
    • Action
      • athena:StartQueryExecution
      • athena:StopQueryExecution
      • athena:GetQueryResults
      • athena:GetQueryExecution
      • athena:GetQueryResultsStream
    • Resource
      • *
  • Glueの読み取り許可
    • Action
      • glue:GetDatabase
      • glue:GetTable
    • Resource
      • *

他のAWSアカウントのS3パケットを使用する場合は、ポリシーを設定してください。