คำถามติดแท็ก airflow

ปัญหา มีวิธีใดบ้างใน Airflow ในการสร้างเวิร์กโฟลว์ที่ไม่ทราบจำนวนงาน B * จนกว่างาน A จะเสร็จ ฉันได้ดูแท็กย่อยแล้ว แต่ดูเหมือนว่าจะสามารถทำงานได้เฉพาะกับชุดงานคงที่ซึ่งต้องถูกกำหนดที่การสร้าง Dag Dag จะเรียกใช้งานได้หรือไม่? และหากเป็นเช่นนั้นโปรดยกตัวอย่าง ฉันมีปัญหาที่ไม่สามารถทราบจำนวนงาน B ที่จะต้องใช้ในการคำนวณงาน C จนกว่างาน A จะเสร็จสมบูรณ์ แต่ละงาน B. * จะใช้เวลาหลายชั่วโมงในการคำนวณและไม่สามารถรวมกันได้ |---> Task B.1 --| |---> Task B.2 --| Task A ------|---> Task B.3 --|-----> Task C | .... | |---> Task B.N --| แนวคิด …

98 python  workflow  airflow 

หลังจากติดตั้งใหม่โดยใช้pip install apache-airflowความพยายามใด ๆ ที่จะเรียกใช้การไหลของอากาศจบด้วยข้อผิดพลาดในการนำเข้าหลาม Traceback (most recent call last): File "/Users/\*/env/bin/airflow", line 26, in <module> from airflow.bin.cli import CLIFactory File "/Users/\*/env/lib/python3.7/site-packages/airflow/bin/cli.py", line 70, in <module> from airflow.www.app import (cached_app, create_app) File "/Users/\*/env/lib/python3.7/site-packages/airflow/www/app.py", line 26, in <module> from flask_wtf.csrf import CSRFProtect File "/Users/\*/env/lib/python3.7/site-packages/flask_wtf/__init__.py", line 17, in <module> from .recaptcha import …

19 python  flask  airflow  werkzeug 

การติดตั้งทำได้อย่างถูกต้อง db เริ่มต้นอย่างถูกต้องและพยายามเริ่มเว็บเซิร์ฟเวอร์แสดงข้อผิดพลาดต่อไปนี้ ฉันติดตั้งใหม่ทุกอย่างแล้ว แต่ก็ยังไม่ทำงาน ฉันจะขอบคุณถ้ามีคนช่วยฉัน เอาต์พุตคอนโซล: $:~/airflow# airflow webserver -p 8080 ____________ _____________ ____ |__( )_________ __/__ /________ __ ____ /| |_ /__ ___/_ /_ __ /_ __ \_ | /| / / ___ ___ | / _ / _ __/ _ / / /_/ /_ |/ |/ / …

16 airflow 

ปิด. คำถามนี้เป็นคำถามที่ไม่สามารถทำซ้ำหรือเกิดจากความผิดพลาด ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้เป็นไปตามหัวข้อสำหรับ Stack Overflow ปิดให้บริการใน3 เดือนที่ผ่านมา ฉันได้รับข้อผิดพลาดด้านบนเมื่อฉันลองใช้ airflow -version และ airdb initdb File "/home/ravi/sandbox/bin/airflow", line 26, in <module> from airflow.bin.cli import CLIFactory File "/home/ravi/sandbox/lib/python3.6/site-packages/airflow/bin/cli.py", line 70, in <module> from airflow.www.app import (cached_app, create_app) File "/home/ravi/sandbox/lib/python3.6/site-packages/airflow/www/app.py", line 37, in <module> from airflow.www.blueprints import routes File "/home/ravi/sandbox/lib/python3.6/site-packages/airflow/www/blueprints.py", line 25, …

12 python  airflow 

ฉันใช้ https://github.com/helm/charts/tree/master/stable/airflowแผนภูมิหมวกกันน็อกและสร้างpuckle/docker-airflowภาพv1.10.8 พร้อม kubernetes ติดตั้งอยู่และใช้ภาพนั้นในแผนภูมิหางเสือ แต่ฉันยังคงได้รับ File "/usr/local/bin/airflow", line 37, in <module> args.func(args) File "/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py", line 1140, in initdb db.initdb(settings.RBAC) File "/usr/local/lib/python3.7/site-packages/airflow/utils/db.py", line 332, in initdb dagbag = models.DagBag() File "/usr/local/lib/python3.7/site-packages/airflow/models/dagbag.py", line 95, in __init__ executor = get_default_executor() File "/usr/local/lib/python3.7/site-packages/airflow/executors/__init__.py", line 48, in get_default_executor DEFAULT_EXECUTOR = _get_executor(executor_name) File "/usr/local/lib/python3.7/site-packages/airflow/executors/__init__.py", line …

12 kubernetes  airflow  kubernetes-helm  airflow-scheduler 

ฉันกำลังพยายามย้ายไฟล์ s3 จากที่เก็บข้อมูลที่ "ไม่ลบ" (หมายถึงฉันไม่สามารถลบไฟล์) ไปยัง GCS โดยใช้การไหลเวียนของอากาศ ฉันไม่สามารถรับประกันได้ว่าจะมีไฟล์ใหม่ทุกวัน แต่ฉันต้องตรวจสอบไฟล์ใหม่ทุกวัน ปัญหาของฉันคือการสร้างแบบไดนามิกย่อย หากมีไฟล์อยู่ฉันต้องมีแท็กย่อย หากไม่มีไฟล์ฉันไม่ต้องการไฟล์ย่อย ปัญหาของฉันคือการตั้งค่าอัปสตรีม / ดาวน์สตรีม ในรหัสของฉันมันจะตรวจจับไฟล์ แต่ไม่ได้เปิดออกย่อย ๆ ตามที่ควรจะเป็น ฉันคิดถึงบางอย่าง นี่คือรหัสของฉัน: from airflow import models from airflow.utils.helpers import chain from airflow.providers.amazon.aws.hooks.s3 import S3Hook from airflow.operators.python_operator import PythonOperator, BranchPythonOperator from airflow.operators.dummy_operator import DummyOperator from airflow.operators.subdag_operator import SubDagOperator from airflow.contrib.operators.s3_to_gcs_operator import …

10 python  airflow  directed-acyclic-graphs 

ฉันมีฉากหลังเหมือนด้านล่าง: ทริกเกอร์ a Task 1และTask 2เฉพาะเมื่อข้อมูลใหม่สามารถใช้ได้สำหรับพวกเขาในตารางแหล่งที่มา (Athena) ทริกเกอร์สำหรับ Task1 และ Task2 ควรเกิดขึ้นเมื่อมีการแบ่งข้อมูลใหม่ในหนึ่งวัน ทริกเกอร์Task 3เฉพาะเมื่อเสร็จสิ้นการTask 1และTask 2 ทริกเกอร์Task 4เพียงความสำเร็จของTask 3 รหัสของฉัน from airflow import DAG from airflow.contrib.sensors.aws_glue_catalog_partition_sensor import AwsGlueCatalogPartitionSensor from datetime import datetime, timedelta from airflow.operators.postgres_operator import PostgresOperator from utils import FAILURE_EMAILS yesterday = datetime.combine(datetime.today() - timedelta(1), datetime.min.time()) default_args = { …

9 python  airflow  amazon-athena  directed-acyclic-graphs  airflow-scheduler