定期実行

このセクションでは、SQLやPythonで作成したデータパイプラインをスケジュール実行する機構について説明します。

SQLのload_dataやPythonの@morph.load_data()などの関数を使うことで、複数の処理をパイプラインとして構築することができます。 このパイプラインをスケジュール実行することで、毎日の売り上げの集計などの定期的なタスクを自動化することができます。

morph_project.ymlに以下のように設定をすることで、スケジュール実行を行うことができます。

# Scheduled Jobs
scheduled_jobs:
    function_name_1:
        schedules:
        - cron: "cron(0 12 * * 2)"
            is_enabled: false
            timezone: "UTC"
            variables:
                notify: true
                email: "alert@example.com"

デプロイをするとクラウド上の”Jobs”タブから、設定されているジョブの確認やログを確認する事ができます。