目次 x
    CDCデータ転送 - 転送先 - Google BigQuery
      • 印刷
      • PDF
      目次

      CDCデータ転送 - 転送先 - Google BigQuery

        • 印刷
        • PDF
        記事の要約

        本ページでは、CDCデータ転送における転送先 - Google BigQueryについて説明します。
        接続に関する設定については、Google BigQuery接続情報を参照ください。

        事前準備

        Google Cloud Projectの準備

        事前にGoogle Cloud Projectを作成し、BigQuery APIを有効化する必要があります。

        データ転送に伴うBigQueryの課金対象

        一時テーブルへの書き込みはBigQuery Storage Write API、マージ処理は通常のジョブとしての課金対象です。詳しくはBigQueryの料金 - Google Cloudを参照ください。

        サービスアカウントの設定

        CDCデータ転送では、サービスアカウント認証と個人のGoogleアカウント認証に対応しています。
        サービスアカウントの発行手順については、Google BigQuery接続情報を参照ください。
        必要な権限は以下のとおりです。

        • BigQueryへのデータ読み書き権限
          • bigquery.datasets.create
          • bigquery.datasets.get
          • bigquery.jobs.create
          • bigquery.tables.create
          • bigquery.tables.delete
          • bigquery.tables.export
          • bigquery.tables.get
          • bigquery.tables.getData
          • bigquery.tables.list
          • bigquery.tables.update
          • bigquery.tables.updateData
        BigQueryクエリ実行数の制限について

        CDCデータ転送では、最大で50件のBigQueryクエリが同時に実行されます。
        BigQuery側のデフォルト設定で許可されているクエリの同時実行数はプロジェクトあたり100件となっているため、他のアプリケーションやジョブが同じプロジェクトでクエリを実行している場合は、制限に達する可能性があります。

        制限に到達した場合は、割り当ての表示と管理 - Google Cloudを参照し、割り当ての調整リクエストを検討してください。

        設定項目

        STEP1 基本設定

        以下の設定項目については、転送先 - Google BigQueryの該当する項目を参照ください。

        • Google BigQuery接続情報
        • データセット
        • データセットのロケーション
        • データセットの自動作成オプション
        項目必須デフォルト値内容
        生ログデータセットYesデータセット名に「_raw_trocco_logs」のsuffixをつけた値CDCデータ転送の中間テーブルを保存するデータセットを指定します。

        STEP2 出力オプション

        項目内容
        パーティション種別転送先テーブルのパーティション種別を選択します。「日別」または「月別」を選択した場合は、パーティショニングの基準となるTimestamp型のカラムをあわせて選択します。

        制約事項

        • 転送先テーブルは初回の全件転送時に再作成されます。既存のテーブルは利用できません。
        • 9MBを超えるレコードは転送がスキップされます。
        この記事は役に立ちましたか?
        What's Next