転送先 - BigQuery
  • 10 Apr 2023
  • 1 分で読み終わります
  • ダーク
    ライト

転送先 - BigQuery

  • ダーク
    ライト

Article Summary

概要

Google Cloud PlatformのBigQueryへデータを転送する設定のヘルプページです。

対応プロトコル

制約

  • BigQuery側の制約
    • 転送できるファイルサイズなどに上限があります。
    • 詳しくは、BigQuery公式ドキュメントの読み込みジョブを参照ください。

設定項目

STEP1 基本設定

項目必須デフォルト値内容
BigQuery接続情報Yes-BigQueryの接続情報を参照ください。
データセットYes-転送先のデータセット名を指定します。
データセット名は英字・数字・アンダースコアのみで構成されている必要があります(参考)
テーブルYes-転送先のテーブル名を指定します。
テーブル名は英字・数字・アンダースコアのみで構成されている必要があります(参考)
データセットのロケーションYesUS転送先データセットのロケーションを指定します。
東京リージョンを指定する場合はasia-northeast1を入力します。
指定できるロケーションは公式ドキュメントをご参照ください。
データセットの自動作成オプションYes作成しないデータセットに指定したデータセットが存在しない場合、自動で作成します。
※テーブルが存在しない場合は自動で生成されます。
転送モードYesappend転送モードを選択します。
各モードの詳細については後述の転送モードについてをご参照ください。

データ設定

テーブルの自動作成が行われる場合、データ設定のカラム定義を利用してテーブルを作成します。
この時、カラム定義内のカラム名に英字・数字・アンダースコア以外の文字列(日本語など)が含まれている場合、転送時にエラーとなりますので、カラム名を変更していただくようお願いします。

転送モードについて

モード詳細
appendテーブルへの追記を行います。
はじめに一時テーブルを生成してそこにデータを投入し、一時テーブルを転送先テーブルへコピーします。
この際、転送先テーブルへは追記方式で行われます。
そのため、転送が途中で失敗した際に中途半端なデータが転送先テーブルに残ることがありません。
append_directテーブルへの追記を行います。
一時テーブル等は作成せず、直接データを投入します。
この際、転送先テーブルへは追記となります。
そのため、転送が途中で失敗した際には中途半端な状態のデータが残る場合があります。
replaceテーブルの洗い替えを行います。
はじめに一時テーブルを生成してそこにデータを投入し、一時テーブルを転送先テーブルへコピーします。
この際、転送先テーブルへは洗い替え(上書き)となります。
delete_in_advanceテーブルの洗い替えを行います。
はじめに転送先テーブルが既に存在する場合はそれを削除し、新たに転送先テーブルを作成しデータを投入します。

さらに詳しい説明については公式ドキュメントをご参照ください。

出力オプション

項目内容
カラム設定カラムの定義が編集ができます。

・カラム名:テーブルのカラム名
・データ型:テーブルのカラムのデータ型
・モード:テーブルのカラムのモード
・日付フォーマット:カラムが文字列の場合で、Timestamp型に変換する際に使われるフォーマット
・タイムゾーン:カラムが文字列の場合で、Timestamp型に変換する際に使われるタイムゾーン
・説明:カラムの説明
すでにテーブルが存在している場合、append、append_directは説明以外の既存のテーブルのカラムの設定を更新することはありません。
説明は、転送が成功した場合にカラム名が一致したものが更新されます。
また、スキーマ情報をテンプレートとして参照するテーブル名を使い、説明が入っていた場合でもカラムの説明はカラム設定で設定したものが優先されます。
カラムについてさらに詳しい説明は公式ドキュメントをご確認ください。
スキーマ情報をテンプレートとして参照するテーブル名このテーブルのスキーマ情報からBigQueryへの取り込み時のスキーマ情報を生成します。
分割テーブルの種類分割テーブルの種類を指定します。
  • 取り込み時間により分割:troccoのジョブ実行時間に基づいてパーティションが切られます。
  • 時間単位の列により分割:基準となるカラムに基づいてパーティションが切られます。基準となるカラムをDATE, DATETIME, TIMESTAMPのいずれかの型のカラムから選択してください。

    なお、分割単位は以下の4種類から選択できます。
  • 1時間ごと
  • 1日ごと
  • 1か月ごと
  • 1年ごと

    分割テーブルについて、詳しくは分割テーブルの概要を参照ください。
  • 整数範囲パーティショニング

    troccoでは、特定のINTEGER列の値に基づいてテーブルを分割する、整数範囲パーティショニングには対応していません。

    必要な権限

    ご利用いただくにあたって必要な権限は以下となります。

    • bigquery.datasets.create
    • bigquery.datasets.get
    • bigquery.jobs.create
    • bigquery.tables.create
    • bigquery.tables.delete
    • bigquery.tables.export
    • bigquery.tables.get
    • bigquery.tables.getData
    • bigquery.tables.list
    • bigquery.tables.update
    • bigquery.tables.updateData

    この記事は役に立ちましたか?