Apache Airflow คืออะไร และวิธีติดตั้งบน Cloud Server

ทดสอบบน Ubuntu Server 24.04 LTS ที่ติดตั้ง Docker แล้ว

1. 1

   ดึงไฟล์ Compose ทางการ

   ตรวจเลขเวอร์ชันล่าสุดจากเอกสารของโครงการก่อนดาวน์โหลด

   คัดลอก

   mkdir -p /srv/airflow && cd /srv/airflow
   curl -LfO "https://airflow.apache.org/docs/apache-airflow/stable/docker-compose.yaml"
   mkdir -p ./dags ./logs ./plugins
   echo -e "AIRFLOW_UID=$(id -u)" > .env

2. 2

   เตรียมฐานข้อมูลและบัญชีผู้ดูแล

   คัดลอก

   docker compose up airflow-init

3. 3

   เริ่มระบบ

   คัดลอก

   docker compose up -d
   docker compose ps

4. 4

   ตั้ง Nginx และ HTTPS

   คัดลอก

   sudo certbot --nginx -d airflow.example.com

5. 5

   เขียนขั้นตอนงานชุดแรก

   วางไฟล์ Python ในโฟลเดอร์ dags ระบบจะอ่านและแสดงในหน้าจอโดยอัตโนมัติ

   คัดลอก

   from airflow import DAG
   from airflow.operators.bash import BashOperator
   import pendulum
   
   with DAG(
       "daily_report",
       start_date=pendulum.datetime(2026, 1, 1, tz="Asia/Bangkok"),
       schedule="0 2 * * *",
       catchup=False,
   ) as dag:
       extract = BashOperator(task_id="extract", bash_command="/opt/scripts/extract.sh")
       transform = BashOperator(task_id="transform", bash_command="/opt/scripts/transform.sh")
       extract >> transform

6. 6

   ตั้งการแจ้งเตือนเมื่องานล้มเหลว

   ตั้งให้ส่งอีเมลหรือข้อความเข้าแชทขององค์กรเมื่องานล้มเหลว เพราะการมองหน้าจอเองทุกวันไม่ยั่งยืน

อย่าเก็บรหัสผ่านหรือคีย์ไว้ในไฟล์ขั้นตอนงานโดยตรง ให้ใช้ระบบจัดการค่าลับของ Airflow หรือดึงจาก Vault แทน