CDCデータ転送 - 転送先 - Amazon S3 Iceberg

本ページでは、CDCデータ転送における転送先 - Amazon S3 Icebergについて説明します。
接続に関する設定については、Amazon S3接続情報を参照ください。

対応するCatalog

AWS Glue Data Catalogに対応しています。
Glue Catalogによりスキーマ管理が容易になり、また他エンジンからのクエリにも利用できます。

事前準備

S3バケットの作成

事前にS3バケットを作成する必要があります。

IAMロールの設定

CDCデータ転送では、IAMロール認証にのみ対応しています。
IAMロールの発行手順については、Amazon S3接続情報を参照ください。
IAMロールに必要な権限は以下のとおりです。

• S3バケットへの読み書き権限
  • s3:ListAllMyBuckets
  • s3:ListBucket
  • s3:GetObject
  • s3:PutObject
  • s3:DeleteObject
• Glue Catalogへのアクセス権限
  • glue:GetDatabase
  • glue:CreateDatabase
  • glue:DeleteDatabase
  • glue:GetTable
  • glue:CreateTable
  • glue:UpdateTable
  • glue:DeleteTable

IAMポリシーの具体例

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListAllMyBuckets"
      ],
      "Resource": "*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::<bucket_name>"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:PutObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::<bucket_name>/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "glue:GetDatabase",
        "glue:UpdateDatabase",
        "glue:CreateDatabase"
      ],
      "Resource": [
        "arn:aws:glue:<aws_region>:<account_id>:catalog",
        "arn:aws:glue:<aws_region>:<account_id>:database/<database_name>"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
        "glue:GetTable",
        "glue:UpdateTable",
        "glue:CreateTable",
        "glue:DeleteTable"
      ],
      "Resource": [
        "arn:aws:glue:<aws_region>:<account_id>:catalog",
        "arn:aws:glue:<aws_region>:<account_id>:database/<database_name>",
        "arn:aws:glue:<aws_region>:<account_id>:table/<database_name>/*"
      ]
    }
  ]
}

補足事項

各種DWHからS3 Icebergを参照する方法

• Google BigQueryから参照する方法：Google Cloud公式ドキュメント - Apache Iceberg 用の BigLake 外部テーブルを作成する
• Snowflakeから参照する方法：Snowflake公式ドキュメント - CREATE CATALOG INTEGRATION (AWS Glue)