CDCデータ転送 - 転送先 - Google BigQuery

Prev Next

本ページでは、CDCデータ転送における転送先 - Google BigQueryについて説明します。
接続に関する設定については、Google BigQuery接続情報を参照ください。

事前準備

Google Cloud Projectの準備

事前にGoogle Cloud Projectを作成し、BigQuery APIを有効化する必要があります。

データ転送に伴うBigQueryの課金対象

一時テーブルへの書き込みはBigQuery Storage Write API、マージ処理は通常のジョブとしての課金対象です。詳しくはBigQueryの料金 - Google Cloudを参照ください。

サービスアカウントの設定

CDCデータ転送では、サービスアカウント認証と個人のGoogleアカウント認証に対応しています。
サービスアカウントの発行手順については、Google BigQuery接続情報を参照ください。
必要な権限は以下のとおりです。

  • BigQueryへのデータ読み書き権限
    • bigquery.datasets.create
    • bigquery.datasets.get
    • bigquery.jobs.create
    • bigquery.tables.create
    • bigquery.tables.delete
    • bigquery.tables.export
    • bigquery.tables.get
    • bigquery.tables.getData
    • bigquery.tables.list
    • bigquery.tables.update
    • bigquery.tables.updateData
BigQueryクエリ実行数の制限について

CDCデータ転送では、最大で50件のBigQueryクエリが同時に実行されます。
BigQuery側のデフォルト設定で許可されているクエリの同時実行数はプロジェクトあたり100件となっているため、他のアプリケーションやジョブが同じプロジェクトでクエリを実行している場合は、制限に達する可能性があります。

制限に到達した場合は、割り当ての表示と管理 - Google Cloudを参照し、割り当ての調整リクエストを検討してください。

設定項目

STEP1 基本設定

以下の設定項目については、転送先 - Google BigQueryの該当する項目を参照ください。

  • Google BigQuery接続情報
  • データセット
  • データセットのロケーション
  • データセットの自動作成オプション
項目 必須 デフォルト値 内容
生ログデータセット Yes データセット名に「_raw_trocco_logs」のsuffixをつけた値 CDCデータ転送の中間テーブルを保存するデータセットを指定します。

STEP2 出力オプション

項目 内容
パーティション種別 転送先テーブルのパーティション種別を選択します。「日別」または「月別」を選択した場合は、パーティショニングの基準となるTimestamp型のカラムをあわせて選択します。

制約事項

  • 転送先テーブルは初回の全件転送時に再作成されます。既存のテーブルは利用できません。
  • 9MBを超えるレコードは転送がスキップされます。