概要
TROCCO では「データ転送機能」「データマート機能」「ワークフロー機能」のそれぞれで、定期的な実行のためのスケジュール機能を提供しています。このドキュメントでは、各機能のスケジュール設定について説明します。
なお、「dbt連携機能」には単体でジョブ実行をスケジュールする機能はなく、スケジュール実行したい場合はワークフロー定義に対象の dbt ジョブを組み込んでいただく必要があります。
スケジュール機能の共通の仕様
TROCCOの各機能（データ転送、データマート、ワークフロー）では、共通のスケジュール設定の仕組みが利用できます。
転送ジョブやデータマートジョブなど、自身でスケジュール機能を持つタスクについて、ワークフロー定義と各タスクの両方にスケジュール設定をしていた場合、両方のスケジュールが実行されます。
依存関係のあるタスクはワークフロー定義に追加したうえでワークフローにスケジュールを設定する、依存関係のないタスクのみ転送設定ないしデータマート定義にスケジュールを設定するなど、一定のルールに沿ってスケジュール設定を運用することをおすすめします。
スケジュール頻度
すべての機能で以下の4種類のスケジュール頻度を設定できます。
- 毎時（hourly）: 毎時、指定した分に実行
- 毎日（daily）: 毎日、指定した時刻に実行
- 毎週（weekly）: 毎週、指定した曜日と時刻に実行
- 毎月（monthly）: 毎月、指定した日と時刻に実行
時間設定
スケジュール頻度に応じて、以下の時間設定が可能です。
| 頻度 | 設定可能な項目 |
|---|---|
| 毎時（hourly） | 分（0-59） |
| 毎日（daily） | 時（0-23）、分（0-59） |
| 毎週（weekly） | 曜日（日曜〜土曜）、時（0-23）、分（0-59） |
| 毎月（monthly） | 日（1-31）、時（0-23）、分（0-59） (*) |
(*): 「毎月31日」など特定の月にしか存在しない日付を設定した場合、その日付が存在しない月は実行がスキップされます。 毎月最終日に実行されるわけではないのでご注意ください。
定期実行するジョブが同一時刻に集中すると、同時実行数上限が上限に達し、後続のジョブ実行がQUEUEDとなり遅延する場合があります。
毎時0分や30分など特定の時刻に集中しやすいため、スケジュール時刻を分散させることで遅延の発生を抑えられる場合があります。
タイムゾーン設定
すべてのスケジュールでタイムゾーンを設定できます。これにより、異なるタイムゾーンでの実行時間を柔軟に管理できます。
複数スケジュールの登録
すべての機能で複数のスケジュールを設定できます。例えば、「毎日9時に実行」と「毎週月曜日の15時に実行」のように、異なる頻度や時間のスケジュールを組み合わせることが可能です。
スケジュールの有効化・無効化
すべての機能で、実行設定から各スケジュールの有効・無効を切り替えられます。スケジュールを新規作成すると、デフォルトでは有効の状態となります。
無効化されたスケジュールは定期実行されず、次回実行予定が表示されなくなります。
再度有効化すると、次回実行予定が再計算されます。
各スケジュールを選択し、有効・無効を一括で切り替えることもできます。
スケジュールの一括追加・削除・有効化・無効化
複数の転送設定・データマート定義・ワークフロー定義に対して一括でスケジュールを追加・削除・有効化・無効化できます。
長期間エラーが継続するスケジュールの自動無効化
長期間放置されたエラーは、お客様のデータ基盤に無用な負荷を生じさせるとともに、TROCCOのジョブ実行環境全体の健全性にも影響します。
これらを防ぐため、一定期間かつ一定回数のエラーが連続して発生している定義内のすべてのスケジュールを、システム側で自動的に無効化します。
無効化が行われる具体的な条件（継続期間・エラー回数）は、運用状況に応じて調整する場合があるため、公開しておりません。
各定義に通知を設定することで、無効化以前にエラーを検知し、早期に対応できます。重要な定義については、あらかじめ通知設定を行っておくことをおすすめします。
一覧画面にて、絞り込み条件の スケジュール設定 を「設定あり」、通知設定 を「設定なし」に指定することで、通知設定が未設定のままスケジュール実行している定義を一覧で確認できます。
無効化されたスケジュールは、通常のスケジュールの有効化と同様の手順で有効化できます。
自動で無効化されたスケジュールを特定する
スケジュールが自動停止されると、定義の作成者に停止を通知するメールが送信されます。作成者が削除済みの場合などは、アカウント特権管理者に送信されます。
定義の詳細画面に、無効化された旨を示すバナーが表示され、変更履歴にはシステムによる自動変更として無効化が記録されます。
スケジュールが自動で無効化された定義の一覧を確認したい場合は担当カスタマーサクセスまでお問い合わせください。
スケジュール管理画面
設定されたスケジュールは、サイドバーの スケジュール管理 から横断的に一覧・管理できます。
各機能のスケジュールを横断的に確認できるため、以下のシーンなどで活用できます。
- 同一時刻にスケジュールが集中し、同時実行数上限によるジョブ実行の遅延を防ぐため、既存スケジュールが少ない時間帯で新規スケジュールを追加する
- 無効化されたまま放置されているスケジュールや不要になったスケジュールの棚卸し
表示される情報
一覧では、リソースに設定されたスケジュールごとに、以下の項目が表示されます。
| 項目 | 内容 |
|---|---|
| 種別 | スケジュールが設定されている機能の種別が表示されます。 |
| リソース名 | スケジュールが設定されている転送設定・データマート定義・ワークフロー定義の名前がリンクで表示されます。 |
| スケジュール | 実行頻度と実行時刻が表示されます。 |
| 次回実行予定日時 | 次にジョブが起動する予定の日時。無効化中のスケジュールは「-」と表示されます |
| タイムゾーン | スケジュールに設定されたタイムゾーン |
一覧に表示されるスケジュールは、閲覧権限のあるリソースに紐づくスケジュールのみです。
一覧画面の絞り込み
一覧画面には機能の種別ごと、また種別を横断するすべてのタブがあり、スケジュールが設定された機能の種別で表示するスケジュールを絞り込むことができます。
フィルターによって、以下によるタブごとの絞り込みも可能です。
- リソース名：スケジュールが設定されたリソース名で絞り込めます。
- 実行頻度：スケジュールの実行頻度を選択して絞り込めます。
- 実行設定：スケジュールの有効化・無効化の状況を選択して絞り込めます。
また、各表示項目のヘッダーをクリックし、一覧の並び替えも可能です。
一覧画面から行える操作
各スケジュールに対して、以下の操作が可能です。
- 個別スケジュールの有効化・無効化
- 複数スケジュールの一括有効化・無効化
- 個別スケジュールの削除
- 複数スケジュールの一括削除
新規スケジュールの登録は、各機能のスケジュール設定画面より行ってください。
チェックボックスでスケジュールを選択した状態でタブを切り替えると、選択状態はリセットされます。
- スケジュールが設定されているリソースの編集権限がない場合、スケジュールの有効化・無効化を切り替えることはできません。
- スケジュールが設定されているリソースの削除権限がない場合、スケジュールの削除はできません。