คำถามติดแท็ก airflow-scheduler

1
ตัวกำหนดตารางเวลาการไหลของอากาศไม่สามารถเริ่มต้นด้วยตัวจัดการ kubernetes
ฉันใช้ https://github.com/helm/charts/tree/master/stable/airflowแผนภูมิหมวกกันน็อกและสร้างpuckle/docker-airflowภาพv1.10.8 พร้อม kubernetes ติดตั้งอยู่และใช้ภาพนั้นในแผนภูมิหางเสือ แต่ฉันยังคงได้รับ File "/usr/local/bin/airflow", line 37, in <module> args.func(args) File "/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py", line 1140, in initdb db.initdb(settings.RBAC) File "/usr/local/lib/python3.7/site-packages/airflow/utils/db.py", line 332, in initdb dagbag = models.DagBag() File "/usr/local/lib/python3.7/site-packages/airflow/models/dagbag.py", line 95, in __init__ executor = get_default_executor() File "/usr/local/lib/python3.7/site-packages/airflow/executors/__init__.py", line 48, in get_default_executor DEFAULT_EXECUTOR = _get_executor(executor_name) File "/usr/local/lib/python3.7/site-packages/airflow/executors/__init__.py", line …

1
วิธีการทริกเกอร์ภารกิจ Airflow เฉพาะเมื่อมีการแบ่งพาร์ติชัน / ข้อมูลใหม่ในตาราง AWS athena โดยใช้ DAG ในหลาม
ฉันมีฉากหลังเหมือนด้านล่าง: ทริกเกอร์ a Task 1และTask 2เฉพาะเมื่อข้อมูลใหม่สามารถใช้ได้สำหรับพวกเขาในตารางแหล่งที่มา (Athena) ทริกเกอร์สำหรับ Task1 และ Task2 ควรเกิดขึ้นเมื่อมีการแบ่งข้อมูลใหม่ในหนึ่งวัน ทริกเกอร์Task 3เฉพาะเมื่อเสร็จสิ้นการTask 1และTask 2 ทริกเกอร์Task 4เพียงความสำเร็จของTask 3 รหัสของฉัน from airflow import DAG from airflow.contrib.sensors.aws_glue_catalog_partition_sensor import AwsGlueCatalogPartitionSensor from datetime import datetime, timedelta from airflow.operators.postgres_operator import PostgresOperator from utils import FAILURE_EMAILS yesterday = datetime.combine(datetime.today() - timedelta(1), datetime.min.time()) default_args = { …
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.