CDCデータ転送 - 転送先 - Amazon S3 Iceberg

Prev Next

本ページでは、CDCデータ転送における転送先 - Amazon S3 Icebergについて説明します。
接続に関する設定については、Amazon S3接続情報を参照ください。

対応するCatalog

AWS Glue Data Catalogに対応しています。
Glue Catalogによりスキーマ管理が容易になり、また他エンジンからのクエリにも利用できます。

リージョンの統一

Glue Catalogは、S3バケットと同一リージョンである必要があります。

事前準備

S3バケットの作成

事前にS3バケットを作成する必要があります。

IAMロールの設定

CDCデータ転送では、IAMロール認証にのみ対応しています。
IAMロールの発行手順については、Amazon S3接続情報を参照ください。
IAMロールに必要な権限は以下のとおりです。

  • S3バケットへの読み書き権限
    • s3:ListAllMyBuckets
    • s3:ListBucket
    • s3:GetObject
    • s3:PutObject
    • s3:DeleteObject
  • Glue Catalogへのアクセス権限
    • glue:GetDatabase
    • glue:CreateDatabase
    • glue:DeleteDatabase
    • glue:GetTable
    • glue:CreateTable
    • glue:UpdateTable
    • glue:DeleteTable

IAMポリシーの具体例

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListAllMyBuckets"
      ],
      "Resource": "*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::<bucket_name>"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:PutObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::<bucket_name>/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "glue:GetDatabase",
        "glue:UpdateDatabase",
        "glue:CreateDatabase"
      ],
      "Resource": [
        "arn:aws:glue:<aws_region>:<account_id>:catalog",
        "arn:aws:glue:<aws_region>:<account_id>:database/<database_name>"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
        "glue:GetTable",
        "glue:UpdateTable",
        "glue:CreateTable",
        "glue:DeleteTable"
      ],
      "Resource": [
        "arn:aws:glue:<aws_region>:<account_id>:catalog",
        "arn:aws:glue:<aws_region>:<account_id>:database/<database_name>",
        "arn:aws:glue:<aws_region>:<account_id>:table/<database_name>/*"
      ]
    }
  ]
}

補足事項

各種DWHからS3 Icebergを参照する方法