転送元 - PostgreSQL
- 28 Apr 2022
- 1 分で読み終わります
-
印刷
-
ダークライト
転送元 - PostgreSQL
- 更新日 28 Apr 2022
- 1 分で読み終わります
-
印刷
-
ダークライト
概要
PostgreSQLからデータを転送する設定のヘルプページです。
対応プロトコル
- データ転送（Embulk）
embulk-input-postgresqlを使用
制約
- 特になし
設定項目
STEP1 基本設定
| 項目名 | 必須 | デフォルト値 | 内容 |
|---|---|---|---|
| PostgreSQL接続情報 | Yes | - | あらかじめ登録してある接続情報から、今回の転送設定に必要な権限を持つものを選択します。 |
| データベース | Yes | - | 取得したいデータが入っているデータベース名を指定してください。 |
| スキーマ | Yes | - | 取得したいデータが入っているスキーマ名を指定してください。 スキーマ一覧を読み込むから一覧を読み込むことも可能です。 |
| 転送方法 | Yes | クエリを使用して転送 | 転送データを指定する方法として、クエリを使用して転送か差分転送を選ぶことができます。 差分転送に関しては、こちら もご参照ください。 |
| クエリ | No | - | 転送方法をクエリを使用して転送にした場合に入力が必要です。 転送データを取得するためのクエリを入力してください。 カスタム変数を利用し、troccoのデータ転送時に動的に設定値を決定する事も可能です。 |
| テーブル | Yes | - | 転送方法を差分転送にした場合に入力が必要です。 転送したいデータが入っているテーブル名を指定してください。 テーブル覧を読み込むから一覧を読み込むことも可能です。 |
| 増分データを判別するカラム | No | - | 転送方法を差分転送にした場合に入力できます。 ここで指定したカラムの値が、転送の度に最後に転送されたレコードに保存されます。 2回目以降の転送時は、増分データの対象カラムが前回転送時の値以上のレコードのみ転送します。 ユニークかつAuto IncrementなIDカラムがある場合など、そのカラム名を指定してください。 複数カラム指定したい場合はカンマ区切りで入力してください。 未指定の場合はプライマリーキーが利用されます。 |
| 最後に転送されたレコード | No | - | 転送方法を差分転送にした場合に入力できます。 差分転送時は、ここで指定された値より新しいデータを転送します。 未指定の場合は最初から転送します。 特別な理由がない限り、この値は変更しないでください。 データの重複が起こる可能性があります。 |
| デフォルトのタイムゾーン | Yes | UTC | カラムの型がdate/timestamp/datetimeだった場合、どのタイムゾーンの時刻にするかを指定します。 |
STEP2 詳細設定
| 項目名 | デフォルト値 | 内容 |
|---|---|---|
| カーソルが一度に処理するレコード数 | 10000 | カーソルで一度に取得する行数を指定することができます。 |
| 接続タイムアウト(秒) | 300 | 接続時のタイムアウトまでの時間を秒単位で指定することができます。 |
| ソケットタイムアウト(秒) | 1800 | ソケットタイムアウトを秒単位で指定することができます。 |
troccoで取り込み時にString型への変換が必要なカラム型一覧
以下のカラム型はembulk側が非対応となっているため、troccoで扱うことが出来ません。
転送対象に含まれる場合、プレビュー・転送エラーが発生します。
エラー例： Unsupported type interval (sqlType=1111) of 'interval_data' column.
これらのカラムは「STEP1 > 詳細を設定する」より、カラム名と取り込み型（string）を指定していただくことでstring型として取り込むことが可能です。
取り込み時にString型への変換が必要なカラム型一覧
- box
- bytea
- cidr
- circle
- inet
- interval
- line
- lseg
- macaddr
- macaddr8
- money
- path
- pg_lsn
- point
- polygon
- tsquery
- tsvector
- xml
設定例：interval型、カラム名interval_dataのカラムを取り込む場合
下記のように、カラム名にinterval_dataを指定して下さい。
この記事は役に立ちましたか？