転送先 - BigQuery

設定項目

STEP1 基本設定

項目	必須	デフォルト値	内容
BigQuery接続情報	Yes	-	BigQueryの接続情報を参照ください。
データセット	Yes	-	転送先のデータセット名を指定します。データセット名は英字・数字・アンダースコアのみで構成されている必要があります（参考）
テーブル	Yes	-	転送先のテーブル名を指定します。テーブル名は英字・数字・アンダースコアのみで構成されている必要があります（参考）
データセットのロケーション	Yes	US	転送先データセットのロケーションを指定します。東京リージョンを指定する場合はasia-northeast1を入力します。指定できるロケーションは公式ドキュメントをご参照ください。
データセットの自動作成オプション	Yes	作成しない	データセットに指定したデータセットが存在しない場合、自動で作成します。 ※テーブルが存在しない場合は自動で生成されます。
転送モード	Yes	append	転送モードを選択します。各モードの詳細については後述の転送モードについてをご参照ください。

項目

必須

デフォルト値

内容

BigQuery接続情報

Yes

BigQueryの接続情報を参照ください。

データセット

Yes

転送先のデータセット名を指定します。
データセット名は英字・数字・アンダースコアのみで構成されている必要があります（参考）

テーブル

Yes

転送先のテーブル名を指定します。
テーブル名は英字・数字・アンダースコアのみで構成されている必要があります（参考）

データセットのロケーション

Yes

転送先データセットのロケーションを指定します。
東京リージョンを指定する場合はasia-northeast1を入力します。
指定できるロケーションは公式ドキュメントをご参照ください。

データセットの自動作成オプション

Yes

作成しない

データセットに指定したデータセットが存在しない場合、自動で作成します。
※テーブルが存在しない場合は自動で生成されます。

転送モード

Yes

append

転送モードを選択します。
各モードの詳細については後述の転送モードについてをご参照ください。

データ設定

テーブルの自動作成が行われる場合、データ設定のカラム定義を利用してテーブルを作成します。
この時、カラム定義内のカラム名に英字・数字・アンダースコア以外の文字列（日本語など）が含まれている場合、転送時にエラーとなりますので、カラム名を変更していただくようお願いします。

転送モードについて

モード	詳細
append	テーブルへの追記を行います。はじめに一時テーブルを生成してそこにデータを投入し、一時テーブルを転送先テーブルへコピーします。この際、転送先テーブルへは追記方式で行われます。そのため、転送が途中で失敗した際に中途半端なデータが転送先テーブルに残ることがありません。
append_direct	テーブルへの追記を行います。一時テーブル等は作成せず、直接データを投入します。この際、転送先テーブルへは追記となります。そのため、転送が途中で失敗した際には中途半端な状態のデータが残る場合があります。
replace	テーブルの洗い替えを行います。はじめに一時テーブルを生成してそこにデータを投入し、一時テーブルを転送先テーブルへコピーします。この際、転送先テーブルへは洗い替え（上書き）となります。
delete_in_advance	テーブルの洗い替えを行います。はじめに転送先テーブルが既に存在する場合はそれを削除し、新たに転送先テーブルを作成しデータを投入します。

モード

詳細

append

テーブルへの追記を行います。
はじめに一時テーブルを生成してそこにデータを投入し、一時テーブルを転送先テーブルへコピーします。
この際、転送先テーブルへは追記方式で行われます。
そのため、転送が途中で失敗した際に中途半端なデータが転送先テーブルに残ることがありません。

append_direct

テーブルへの追記を行います。
一時テーブル等は作成せず、直接データを投入します。
この際、転送先テーブルへは追記となります。
そのため、転送が途中で失敗した際には中途半端な状態のデータが残る場合があります。

replace

テーブルの洗い替えを行います。
はじめに一時テーブルを生成してそこにデータを投入し、一時テーブルを転送先テーブルへコピーします。
この際、転送先テーブルへは洗い替え（上書き）となります。

delete_in_advance

テーブルの洗い替えを行います。
はじめに転送先テーブルが既に存在する場合はそれを削除し、新たに転送先テーブルを作成しデータを投入します。

さらに詳しい説明については公式ドキュメントをご参照ください。

出力オプション

項目	内容
カラム設定	カラムの定義が編集ができます。・カラム名：テーブルのカラム名・データ型：テーブルのカラムのデータ型・モード：テーブルのカラムのモード・日付フォーマット：カラムが文字列の場合で、Timestamp型に変換する際に使われるフォーマット・タイムゾーン：カラムが文字列の場合で、Timestamp型に変換する際に使われるタイムゾーン・説明：カラムの説明すでにテーブルが存在している場合、append、append_directは説明以外の既存のテーブルのカラムの設定を更新することはありません。説明は、転送が成功した場合にカラム名が一致したものが更新されます。また、スキーマ情報をテンプレートとして参照するテーブル名を使い、説明が入っていた場合でもカラムの説明はカラム設定で設定したものが優先されます。カラムについてさらに詳しい説明は公式ドキュメントをご確認ください。
スキーマ情報をテンプレートとして参照するテーブル名	このテーブルのスキーマ情報からBigQueryへの取り込み時のスキーマ情報を生成します。
分割テーブルの種類	分割テーブルの種類を指定します。取り込み時間により分割：troccoのジョブ実行時間に基づいてパーティションが切られます。時間単位の列により分割：基準となるカラムに基づいてパーティションが切られます。基準となるカラムを`DATE`, `DATETIME`, `TIMESTAMP`のいずれかの型のカラムから選択してください。なお、分割単位は以下の4種類から選択できます。 1時間ごと 1日ごと 1か月ごと 1年ごと分割テーブルについて、詳しくは分割テーブルの概要を参照ください。

項目

内容

カラム設定

カラムの定義が編集ができます。

・カラム名：テーブルのカラム名
・データ型：テーブルのカラムのデータ型
・モード：テーブルのカラムのモード
・日付フォーマット：カラムが文字列の場合で、Timestamp型に変換する際に使われるフォーマット
・タイムゾーン：カラムが文字列の場合で、Timestamp型に変換する際に使われるタイムゾーン
・説明：カラムの説明
すでにテーブルが存在している場合、append、append_directは説明以外の既存のテーブルのカラムの設定を更新することはありません。
説明は、転送が成功した場合にカラム名が一致したものが更新されます。
また、スキーマ情報をテンプレートとして参照するテーブル名を使い、説明が入っていた場合でもカラムの説明はカラム設定で設定したものが優先されます。
カラムについてさらに詳しい説明は公式ドキュメントをご確認ください。

スキーマ情報をテンプレートとして参照するテーブル名

このテーブルのスキーマ情報からBigQueryへの取り込み時のスキーマ情報を生成します。

分割テーブルの種類

分割テーブルの種類を指定します。

取り込み時間により分割：troccoのジョブ実行時間に基づいてパーティションが切られます。

時間単位の列により分割：基準となるカラムに基づいてパーティションが切られます。基準となるカラムをDATE, DATETIME, TIMESTAMPのいずれかの型のカラムから選択してください。

なお、分割単位は以下の4種類から選択できます。

1時間ごと

1日ごと

1か月ごと

1年ごと

分割テーブルについて、詳しくは分割テーブルの概要を参照ください。

整数範囲パーティショニング

troccoでは、特定のINTEGER列の値に基づいてテーブルを分割する、整数範囲パーティショニングには対応していません。

必要な権限

ご利用いただくにあたって必要な権限は以下となります。

bigquery.datasets.create

bigquery.datasets.get

bigquery.jobs.create

bigquery.tables.create

bigquery.tables.delete

bigquery.tables.export

bigquery.tables.get

bigquery.tables.getData

bigquery.tables.list

bigquery.tables.update

bigquery.tables.updateData