Airflow 구조 이해하기

Airflow의 구성요소

https://www.altexsoft.com/blog/apache-airflow-pros-cons/

• DAG
  작업 실행 순서를 정의, 작업간의 종속성을 지정
  각 작업들이 서로 순환하는 것이 아니라 일방적인 통행 방향을 가지고 있음

 

• Scheduler
  DAG 파일을 읽고 종속성에 따라 작업을 트리거하고 실행을 추적, DAG 폴더에 저장된 모든 작업과 동기화를 유지하고 시작할 수 있는지 확인

 

• Executor / Worker
  실행중인 작업을 처리하는 실행 프로그램
  Executor는 별도의 구성요소가 아닌 스케줄러의 구성 요소, 스케줄러 프로세스 내에서 실행됨
  Production을 위한 Airflow 작업에서는 Worker에게 작업을 전달

 

• Metadata database
  사용자의 권한, 과거 및 현재 DAG, DAG 구성에 대한 정보 저장, 스케줄러의 정보 소스 역할

 

• Webserver
  웹으로 사용자 인터페이스 제공

 

Reference

https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/overview.html

https://www.altexsoft.com/blog/apache-airflow-pros-cons/ 

https://gngsn.tistory.com/262