転送先 - BigQuery
- 10 Apr 2023
- 1 分で読み終わります
- 印刷
- ダークライト
転送先 - BigQuery
- 更新日 10 Apr 2023
- 1 分で読み終わります
- 印刷
- ダークライト
Article Summary
概要
Google Cloud PlatformのBigQueryへデータを転送する設定のヘルプページです。
対応プロトコル
- データ転送(Embulk)
embulk-output-bigqueryのv0.6.9.trocco.0.0.1
を使用
制約
- BigQuery側の制約
- 転送できるファイルサイズなどに上限があります。
- 詳しくは、BigQuery公式ドキュメントの読み込みジョブを参照ください。
設定項目
STEP1 基本設定
項目 | 必須 | デフォルト値 | 内容 |
---|---|---|---|
BigQuery接続情報 | Yes | - | BigQueryの接続情報を参照ください。 |
データセット | Yes | - | 転送先のデータセット名を指定します。 データセット名は英字・数字・アンダースコアのみで構成されている必要があります(参考) |
テーブル | Yes | - | 転送先のテーブル名を指定します。 テーブル名は英字・数字・アンダースコアのみで構成されている必要があります(参考) |
データセットのロケーション | Yes | US | 転送先データセットのロケーションを指定します。 東京リージョンを指定する場合はasia-northeast1を入力します。 指定できるロケーションは公式ドキュメントをご参照ください。 |
データセットの自動作成オプション | Yes | 作成しない | データセットに指定したデータセットが存在しない場合、自動で作成します。 ※テーブルが存在しない場合は自動で生成されます。 |
転送モード | Yes | append | 転送モードを選択します。 各モードの詳細については後述の転送モードについてをご参照ください。 |
データ設定
テーブルの自動作成が行われる場合、データ設定のカラム定義を利用してテーブルを作成します。
この時、カラム定義内のカラム名に英字・数字・アンダースコア以外の文字列(日本語など)が含まれている場合、転送時にエラーとなりますので、カラム名を変更していただくようお願いします。
転送モードについて
モード | 詳細 |
---|---|
append | テーブルへの追記を行います。 はじめに一時テーブルを生成してそこにデータを投入し、一時テーブルを転送先テーブルへコピーします。 この際、転送先テーブルへは追記方式で行われます。 そのため、転送が途中で失敗した際に中途半端なデータが転送先テーブルに残ることがありません。 |
append_direct | テーブルへの追記を行います。 一時テーブル等は作成せず、直接データを投入します。 この際、転送先テーブルへは追記となります。 そのため、転送が途中で失敗した際には中途半端な状態のデータが残る場合があります。 |
replace | テーブルの洗い替えを行います。 はじめに一時テーブルを生成してそこにデータを投入し、一時テーブルを転送先テーブルへコピーします。 この際、転送先テーブルへは洗い替え(上書き)となります。 |
delete_in_advance | テーブルの洗い替えを行います。 はじめに転送先テーブルが既に存在する場合はそれを削除し、新たに転送先テーブルを作成しデータを投入します。 |
さらに詳しい説明については公式ドキュメントをご参照ください。
出力オプション
項目 | 内容 |
---|---|
カラム設定 | カラムの定義が編集ができます。 ・カラム名:テーブルのカラム名 ・データ型:テーブルのカラムのデータ型 ・モード:テーブルのカラムのモード ・日付フォーマット:カラムが文字列の場合で、Timestamp型に変換する際に使われるフォーマット ・タイムゾーン:カラムが文字列の場合で、Timestamp型に変換する際に使われるタイムゾーン ・説明:カラムの説明 すでにテーブルが存在している場合、append、append_directは説明以外の既存のテーブルのカラムの設定を更新することはありません。 説明は、転送が成功した場合にカラム名が一致したものが更新されます。 また、スキーマ情報をテンプレートとして参照するテーブル名を使い、説明が入っていた場合でもカラムの説明はカラム設定で設定したものが優先されます。 カラムについてさらに詳しい説明は公式ドキュメントをご確認ください。 |
スキーマ情報をテンプレートとして参照するテーブル名 | このテーブルのスキーマ情報からBigQueryへの取り込み時のスキーマ情報を生成します。 |
分割テーブルの種類 | 分割テーブルの種類を指定します。DATE , DATETIME , TIMESTAMP のいずれかの型のカラムから選択してください。なお、分割単位は以下の4種類から選択できます。 分割テーブルについて、詳しくは分割テーブルの概要を参照ください。 |
整数範囲パーティショニング
troccoでは、特定のINTEGER
列の値に基づいてテーブルを分割する、整数範囲パーティショニングには対応していません。
必要な権限
ご利用いただくにあたって必要な権限は以下となります。
- bigquery.datasets.create
- bigquery.datasets.get
- bigquery.jobs.create
- bigquery.tables.create
- bigquery.tables.delete
- bigquery.tables.export
- bigquery.tables.get
- bigquery.tables.getData
- bigquery.tables.list
- bigquery.tables.update
- bigquery.tables.updateData
この記事は役に立ちましたか?