転送元 - BigQuery
  • 10 May 2022
  • 1 分で読み終わります
  • ダーク
    ライト

転送元 - BigQuery

  • ダーク
    ライト

概要

Google Cloud PlatformのBigQueryからデータを転送する設定のヘルプページです。

対応プロトコル

制約

  • 転送容量の制限あり
  • Spreadsheetsを外部テーブルとしたテーブルに対して、クエリを実行することができません。

設定項目

STEP1 基本設定

項目名 必須 デフォルト値 内容
BigQuery接続情報 Yes - BigQueryの接続情報をご参照ください。
データエクスポート先GCS URI Yes - BigQueryのデータを一時的にエクスポートするGCSバケット・フォルダを指定してください。(バケットはあらかじめ作成いただく必要がございます。)
バケット名のみの指定はできません。
ワイルドカード(*)を含むURIを指定すれば複数ファイルでの出力となり、指定しなければ単一ファイルでの出力(上限1GB)となります。
詳細はBigQuery公式ドキュメントをご参照ください。
SQL Yes - BigQueryから転送データを取得するためのSQLを入力します。
カスタム変数を利用し、troccoのデータ転送時に動的に設定値を決定することも可能です。
なお、FROM句にはアカウント名を含めず、FROM dataset_name.table_nameの形式でクエリを書いて下さい。
ここで指定するデータセットは一時テーブル作成先データセットと同じリージョンで、かつデータセットのロケーションで指定されているものと同一である必要があります。
データセットのロケーション Yes US SQLで指定したデータセットと一時テーブル作成先データセットのリージョンを指定します。
(どちらも同じリージョンに作成いただく必要があります。)
一時テーブル作成先データセット Yes - troccoは転送処理時に、SQLの実行結果を一時テーブルに保存しますが、その一時テーブルをどのデータセットに作成するか指定してください。
なお、ここで指定したデータセットはtroccoによって自動作成されないため、あらかじめ作成済みのデータセットを指定する必要があります。
作成された一時テーブルは転送完了後に削除されますが、転送ジョブがエラー終了した場合、一時テーブルが残ってしまう可能性がある点ご留意ください。
ここで指定するデータセットはSQLで指定したデータセットと同じリージョンで、かつデータセットのロケーションで指定されているものと同一である必要があります。
一時データの削除ポリシー Yes 削除する GCSにエクスポートした一時データを、ジョブ完了後に削除するか設定します。
SQLタイプ Yes 標準SQL 標準SQLとレガシーSQLに対応しています。
違いについてはBigQuery公式ドキュメントをご参照ください。

STEP2 詳細設定

項目名 デフォルト値 内容
クエリキャッシュを利用する 有効 BigQueryのクエリキャッシュ機能を利用するか選択します。
クエリキャッシュについてはBigQuery公式ドキュメントをご参照ください。

必要な権限

ご利用いただくにあたって必要な権限は以下となります。

  • bigquery.datasets.get
  • bigquery.jobs.create
  • bigquery.tables.create
  • bigquery.tables.delete
  • bigquery.tables.export
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.updateData
  • storage.buckets.create
  • storage.buckets.delete
  • storage.buckets.get
  • storage.buckets.list
  • storage.objects.create
  • storage.objects.delete
  • storage.objects.get
  • storage.objects.list

この記事は役に立ちましたか?

What's Next