データを転送する

Prev Next

概要

TROCCOでは、外部サービスからデータを取得し、加工して他の外部サービスに送信するデータ転送が可能です。
データの取得元となるサービスを「転送元コネクタ」、送信先のサービスを「転送先コネクタ」と呼びます。
ここでは、転送設定を作成し、転送ジョブを実行する手順を説明します。

転送元・転送先コネクタの選択

ホーム画面で、転送設定の新規追加をクリックします。
転送元・転送先コネクタに指定したいサービスをそれぞれ選択し、この内容で作成をクリックします。

STEP1 転送元・転送先の設定

画面に従い、各設定項目を入力します。

概要設定

  • 名前
    • 作成する転送設定の名前を入力します。
      • 例: 転送するデータの概要がわかる名前など
    • 命名規則に従った名前をつけると、検索や管理がしやすくなります。
  • メモ
    • 転送設定に関するメモを自由に入力できます。

転送元・転送先コネクタの設定

設定項目はサービスごとに異なります。
詳しくは、この項目に関するドキュメントをクリックし、該当サービスのDocsを参照ください。

trocco-tutorial-etl-configurations-2024-10-18-16-00-0

カスタム変数

設定項目に埋め込むことができる変数で、ジョブ実行時に動的に値を展開できます。
詳しくは、カスタム変数についてを参照ください。

接続を確認

一部のサービスでは、接続を確認をクリックし、入力した設定情報で正しく接続できるかをテストできます。
エラーが発生した場合は、内容を確認して設定を修正してください。

trocco-tutorial-etl-configurations-2024-10-18-16-00-1

STEP2 データプレビュー・詳細設定

1. スキーマ・データのプレビュー

STEP1からSTEP2に進むと、転送データのプレビューが自動的に作成されます。
プレビューでは、転送元のサービスから取得する列・データ型・値を確認できます。

プレビュー作成中

データのサイズによって、プレビューの作成に数分程度かかる場合があります。
完了するまで操作せずにお待ちください。
プレビュー作成中にSTEP2の設定を編集しても、反映されません。

プレビュー作成完了

trocco-tutorial-etl-configurations-2024-10-18-16-00-2

プレビュー作成エラー

エラーが発生した・プレビュー結果が取得したいデータと異なっていた場合

trocco-tutorial-etl-configurations-2024-10-18-16-00-3

転送元・転送先の設定へ戻るをクリックし、STEP1に戻ります。
転送元コネクタの設定、または転送元コネクタに設定した接続情報の設定に問題がないか確認し、修正してください。
エラーの内容についてはFAQを参照ください。
設定を修正して再びSTEP2へ進むときに、ダイアログが表示されます。

trocco-tutorial-etl-configurations-2024-10-18-16-00-4

自動データ設定を実行を選択し、決定して次へ進むをクリックしてください。

なお、STEP2で再度プレビューを作成すると、STEP1に戻る前に設定していたSTEP2の設定はリセットされます
ご注意ください。

2. カラム定義

実際に転送されるカラムの追加・削除、カラム名の変更など、各カラムの定義ができます。
必要に応じて、カラム定義を編集してください。

その他の詳細設定について

  • データ設定
  • 入力オプション
    • 転送元コネクタに対するオプションを設定します。設定できるオプションは、転送元コネクタによって異なります。
  • 出力オプション
    • 転送先コネクタに対するオプションを設定します。設定できるオプションは、転送先コネクタによって異なります。
  • ジョブ設定
    • データ転送時のジョブについて設定します。

各設定はタブで切り替えられます。

trocco-tutorial-etl-configurations-2024-10-18-16-00-5

3. プレビューの確認

設定が完了したら、変更をプレビューをクリックしてください。
クリックしないと変更内容が設定に反映されません。

プレビューに問題がなければ、確認画面へをクリックしてください。

STEP3 確認・適用

作成した転送設定の内容を確認し、保存して適用をクリックします。
転送設定が作成され、転送設定詳細画面に移動します。

trocco-tutorial-etl-configurations-2024-10-18-16-00-6

転送ジョブの実行と結果確認

転送ジョブの実行

転送設定詳細画面で、実行をクリックします。
ジョブの実行設定画面が表示されますので、実行をクリックします。

カスタム変数展開方法

STEP1でカスタム変数を設定した場合は、カスタム変数展開方法を選択してください。
詳しくは、カスタム変数の展開方法を参照ください。

データ転送にかかる目安時間

例として、転送元がデータベース/ストレージ系、転送先がデータウェアハウスの場合、1時間でおおよそ1200万行のデータを転送できます。
ただし、カラム数や転送サイズにより、転送できるレコード数は変動します。
また、データ取得元・転送先サービスの仕様にも依存するため、実際の速度は異なる場合があります。
あくまで目安としてお考えください。

ジョブが完了するまでお待ちください。
ステータスがSUCCESSに変わったら、データ転送完了となります。

データ転送エラーが発生した場合

エラーメッセージや実行ログを確認し、転送設定を修正してください。

trocco-tutorial-etl-configurations-2024-10-18-16-00-7

エラーの内容についてはFAQ配下を参照ください。
上記に記載がなく、エラーの原因も特定できない場合は、カスタマーサクセスまでお問い合わせください。

転送ジョブの結果確認

データ転送が完了したら、レコード数やバイト数を確認し、意図したデータ転送が行われたことを確認してください。

trocco-tutorial-etl-configurations-2024-10-18-16-00-8

  • 実行サマリー
    • 実行された転送ジョブのステータスや、転送にかかった時間、転送したデータ量などを表示します。
  • 実行ログ
    • 転送実行時のログを表示します。
  • 再実行
    • 転送ジョブを再実行します。転送ジョブが失敗した場合など、改めて転送ジョブを実行したい場合は、こちらをクリックします。
他のユーザーに転送設定を共有したい場合

チーム機能の利用を検討ください。
複数のメンバーで安全かつ効率的に、転送設定や接続情報などの各種設定を共有・管理することが可能となります。