転送先 - BigQuery
  • 28 Apr 2022
  • 1 分で読み終わります
  • ダーク
    ライト

転送先 - BigQuery

  • ダーク
    ライト

概要

Google Cloud PlatformのBigQueryへデータを転送する設定のヘルプページです。

対応プロトコル

  • データ転送(Embulk)
    embulk-output-bigqueryを使用

制約

  • 特になし
  • APIの制約あり(参考)

設定項目

STEP1 基本設定

項目 必須 デフォルト値 内容
BigQuery接続情報 Yes - BigQueryの接続設定をご参照下さい。
データセット Yes - 転送先のデータセット名を指定します。
データセット名は英字・数字・アンダースコアのみで構成されている必要があります(参考)
テーブル Yes - 転送先のテーブル名を指定します。
テーブル名は英字・数字・アンダースコアのみで構成されている必要があります(参考)
データセットのロケーション Yes US 転送先データセットのロケーションを指定します。
東京リージョンを指定する場合はasia-northeast1を入力します。
指定できるロケーションは公式ドキュメントをご参照ください。
データセットの自動作成オプション Yes 作成しない データセットに指定したデータセットが存在しない場合、自動で作成します。
※テーブルが存在しない場合は自動で生成されます。
転送モード Yes append 転送モードを選択します。
各モードの詳細については後述の転送モードについてをご参照ください。

STEP2 詳細設定

項目名 内容
クエリキャッシュを利用する BigQueryのクエリキャッシュ機能を利用するか選択します。
クエリキャッシュについてはBigQuery公式ドキュメントをご参照ください。

データ設定

テーブルの自動作成が行われる場合、データ設定のカラム定義を利用してテーブルを作成します。
この時、カラム定義内のカラム名に英字・数字・アンダースコア以外の文字列(日本語など)が含まれている場合、転送時にエラーとなりますので、カラム名を変更していただくようお願いします。

転送モードについて

モード 詳細
append テーブルへの追記を行います。
はじめに一時テーブルを生成してそこにデータを投入し、一時テーブルを転送先テーブルへコピーします。
この際、転送先テーブルへは追記方式で行われます。
そのため、転送が途中で失敗した際に中途半端なデータが転送先テーブルに残ることがありません。
append_direct テーブルへの追記を行います。
一時テーブル等は作成せず、直接データを投入します。
この際、転送先テーブルへは追記となります。
そのため、転送が途中で失敗した際には中途半端な状態のデータが残る場合があります。
replace テーブルの洗い替えを行います。
はじめに一時テーブルを生成してそこにデータを投入し、一時テーブルを転送先テーブルへコピーします。
この際、転送先テーブルへは洗い替え(上書き)となります。
delete_in_advance テーブルの洗い替えを行います。
はじめに転送先テーブルが既に存在する場合はそれを削除し、新たに転送先テーブルを作成しデータを投入します。

さらに詳しい説明については公式ドキュメントをご参照ください。

出力オプション

項目 内容
カラム設定 カラムの定義が編集ができます。

・カラム名:テーブルのカラム名
・データ型:テーブルのカラムのデータ型
・モード:テーブルのカラムのモード
・日付フォーマット:カラムが文字列の場合で、Timestamp型に変換する際に使われるフォーマット
・タイムゾーン:カラムが文字列の場合で、Timestamp型に変換する際に使われるタイムゾーン
・説明:カラムの説明
すでにテーブルが存在している場合、append、append_directは説明以外の既存のテーブルのカラムの設定を更新することはありません。
説明は、転送が成功した場合にカラム名が一致したものが更新されます。
また、スキーマ情報をテンプレートとして参照するテーブル名を使い、説明が入っていた場合でもカラムの説明はカラム設定で設定したものが優先されます。
カラムについてさらに詳しい説明は公式ドキュメントをご確認ください。
スキーマ情報をテンプレートとして参照するテーブル名 このテーブルのスキーマ情報からBigQueryへの取り込み時のスキーマ情報を生成します。

必要な権限

ご利用いただくにあたって必要な権限は以下となります。

  • bigquery.datasets.create
  • bigquery.datasets.get
  • bigquery.jobs.create
  • bigquery.tables.create
  • bigquery.tables.delete
  • bigquery.tables.export
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.list
  • bigquery.tables.update
  • bigquery.tables.updateData

この記事は役に立ちましたか?