ジョブスケジューリング

このセクションでは、SQLやPythonで作成したデータパイプラインをスケジュール実行する機構について説明します。

SQLのload_dataやPythonの@morph.load_data()などの関数を使うことで、複数の処理をパイプラインとして構築することができます。 このパイプラインをスケジュール実行することで、毎日の売り上げの集計などの定期的なタスクを自動化することができます。

以下のように、Jobsのタブを開くと、現在設定されているジョブの確認や新しいジョブの登録が行えます。

詳細のページを開くと、ジョブが実行された際のログや実行結果を確認することができます。

​

ジョブスケジューリングの設定

ジョブスケジューリングは、パイプラインの最後の関数に対して設定をしてください。 load_data関数では実行時時に読み込み対象の関数も実行するため、データパイプラインの最後の関数を指定して定期実行することで任意のデータパイプラインを定期実行することができます。

実行日時は、「毎日」「平日だけ」など柔軟に設定をすることができます。また、実行時間は15分単位の設定が可能です。