転送元 - MySQL
  • 28 Apr 2022
  • 1 分で読み終わります
  • ダーク
    ライト

転送元 - MySQL

  • ダーク
    ライト

概要

MySQLからデータを転送する設定のヘルプページです。

対応プロトコル

制約

  • 特になし

設定項目

STEP1 基本設定

項目名 必須 デフォルト値 内容
MySQL接続情報 Yes - あらかじめ登録してある接続情報から、今回の転送設定に必要な権限を持つものを選択します。
データベース Yes - MySQLの転送したいデータが入っているデータベース名を入力してください。
入力する際は、自動補完機能を利用することが出来ます。
データベース一覧を読み込むを押すことでデータベースの一覧を読み込むことも可能です。
転送方法 Yes クエリを使用して転送 転送データを指定する手段としてクエリを使用して転送差分転送を選ぶことができます。
差分転送に関しては、こちらをご覧ください。
クエリ Yes - 転送方法をクエリを使用して転送にした場合に入力が必要です。
MySQLから転送データを取得するためのSQLを入力します。
カスタム変数を利用し、troccoのデータ転送時に動的に設定値を決定することも可能です。
テーブル Yes - 転送方法を差分転送にした場合に入力が必要です。
転送したいデータが入っているテーブル名を指定してください。
増分データを判別するカラム No - 転送方法を差分転送にした場合に入力できます。
ここで指定したカラムの値が、転送の度に最後に転送されたレコードに保存されます。
2回目以降の転送時は、増分データの対象カラムが前回転送時の値以上のレコードのみ転送します。
ユニークかつAuto IncrementなIDカラムがある場合など、そのカラム名を指定してください。
複数カラム指定したい場合はカンマ区切りで入力してください。
未指定の場合はプライマリーキーが利用されます。
最後に転送されたレコード No - 転送方法を差分転送にした場合に入力できます。
差分転送時は、ここで指定された値より新しいデータを転送します。
未指定の場合は最初から転送します。
任意の差分を再度転送したい場合などを除き、この値は変更しないでください。
データの重複が起こる可能性があります。
デフォルトのタイムゾーン No - MySQLのサーバサイドのタイムゾーン設定を入力します。
例えば、タイムゾーンが日本の場合Asia/Tokyoと入力します。

STEP2 詳細設定

項目名 デフォルト値 内容
カーソルが一度に処理するレコード数 10000 カーソルで一度に取得する行数を指定することができます。
接続タイムアウト(秒) 300 接続時のタイムアウトまでの時間を秒単位で指定することができます。
ソケットタイムアウト(秒) 1800 ソケットタイムアウトを秒単位で指定することができます。

補足

転送実行中に、エラーが起きてエラーのログの中に下記のメッセージがある場合は、カーソルが一度に処理するレコード数が大きいことが考えられますので、STEP2から値を下げて再度実行してください。

org.embulk.exec.PartialExecutionException: java.lang.RuntimeException: java.lang.OutOfMemoryError: Java heap space


この記事は役に立ちましたか?