คำถามติดแท็ก directed-acyclic-graphs

13
ใครช่วยอธิบายให้ฉันเข้าใจง่ายๆว่ากราฟอะไซคลิกคืออะไร
ใครช่วยอธิบายให้ฉันเข้าใจง่ายๆว่ากราฟอะไซคลิกคืออะไร ฉันได้ดู Wikipedia แล้ว แต่มันไม่ได้ทำให้ฉันเห็นว่ามันใช้ในการเขียนโปรแกรมได้จริงๆ

1
พยายามสร้าง Subdag แบบไดนามิกจาก Dag หลักโดยใช้อาร์เรย์ของชื่อไฟล์
ฉันกำลังพยายามย้ายไฟล์ s3 จากที่เก็บข้อมูลที่ "ไม่ลบ" (หมายถึงฉันไม่สามารถลบไฟล์) ไปยัง GCS โดยใช้การไหลเวียนของอากาศ ฉันไม่สามารถรับประกันได้ว่าจะมีไฟล์ใหม่ทุกวัน แต่ฉันต้องตรวจสอบไฟล์ใหม่ทุกวัน ปัญหาของฉันคือการสร้างแบบไดนามิกย่อย หากมีไฟล์อยู่ฉันต้องมีแท็กย่อย หากไม่มีไฟล์ฉันไม่ต้องการไฟล์ย่อย ปัญหาของฉันคือการตั้งค่าอัปสตรีม / ดาวน์สตรีม ในรหัสของฉันมันจะตรวจจับไฟล์ แต่ไม่ได้เปิดออกย่อย ๆ ตามที่ควรจะเป็น ฉันคิดถึงบางอย่าง นี่คือรหัสของฉัน: from airflow import models from airflow.utils.helpers import chain from airflow.providers.amazon.aws.hooks.s3 import S3Hook from airflow.operators.python_operator import PythonOperator, BranchPythonOperator from airflow.operators.dummy_operator import DummyOperator from airflow.operators.subdag_operator import SubDagOperator from airflow.contrib.operators.s3_to_gcs_operator import …

1
วิธีการทริกเกอร์ภารกิจ Airflow เฉพาะเมื่อมีการแบ่งพาร์ติชัน / ข้อมูลใหม่ในตาราง AWS athena โดยใช้ DAG ในหลาม
ฉันมีฉากหลังเหมือนด้านล่าง: ทริกเกอร์ a Task 1และTask 2เฉพาะเมื่อข้อมูลใหม่สามารถใช้ได้สำหรับพวกเขาในตารางแหล่งที่มา (Athena) ทริกเกอร์สำหรับ Task1 และ Task2 ควรเกิดขึ้นเมื่อมีการแบ่งข้อมูลใหม่ในหนึ่งวัน ทริกเกอร์Task 3เฉพาะเมื่อเสร็จสิ้นการTask 1และTask 2 ทริกเกอร์Task 4เพียงความสำเร็จของTask 3 รหัสของฉัน from airflow import DAG from airflow.contrib.sensors.aws_glue_catalog_partition_sensor import AwsGlueCatalogPartitionSensor from datetime import datetime, timedelta from airflow.operators.postgres_operator import PostgresOperator from utils import FAILURE_EMAILS yesterday = datetime.combine(datetime.today() - timedelta(1), datetime.min.time()) default_args = { …
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.