Airflow code editor 플러그인 설치하기

서버에 Airflow를 설치한 후 DAG들을 관리하기 위해서는 터미널로 Airflow 서버로 접속한 후 CLI환경에서 관리를 진행해야 해서 이런저런 불편한 점들이 많았다

그래서 구글링을 통해 몇가지 Airflow 플러그인들을 찾아보니 Airflow webpage에서 DAG들을 관리할 수 있게 도와주는 플러그인을 발견해서 그 설치방법을 간단하게 리뷰 형식으로 적어보고자 한다

 

아래의 github 페이지에 들어가서 Install Instruction을 따라 설치하면 아주 간단하게 설치 할 수 있다

GitHub - andreax79/airflow-code-editor: A plugin for Apache Airflow that allows you to edit DAGs in browser

 

현재 내가 만든 Airflow 서버는 Docker를 통해 설치한 것이 아니라 바로 서버에 설치한 것이기 때문에 비교적 간단한 방법을로 설치 할 수 있었다

혹시나 Docker을 이용해 Airflow 서버를 구축했다면 다음의 블로그를 참고해 보자

[Airflow] Docker에 airflow-code-editor plugin 설치하기

 

1. 플러그인 설치하기

pip install airflow-code-editor

 

2. 선택 종속성 설치

필요에 따라 설치하면 되는 것 같은데...

나같은 경우엔 플러그인만 설치하면 작동할줄 알고 플러그인만 설치 해더니 제대로 작동하지 않는 것을 볼 수있었다

그래서 아래의 것들을 설치하고 나니 제대로 작동하는 모습을 볼 수 있었다

• black - Black Python code formatter
• fs-s3fs - S3FS Amazon S3 Filesystem
• fs-gcsfs - Google Cloud Storage Filesystem
• ... other filesystems supported by PyFilesystem - see https://www.pyfilesystem.org/page/index-of-filesystems/

 pip install black fs-s3fs fs-gcsfs

아마 저 3개는 필수적으로 설치해야만 하는 것 같다

나머지 더 필요한 것이 있다면 위의 주소에서 다른 PyFilesystem들을 찾아보면 좋을 것 같다

 

3. Airflow web server 재시작

 

4. Web sever에 접속해서 확인해 보자!

원래 보이지 않았던 DAGs Code Editor가 보이기 시작했다!

DAGs Code Editort를 눌러보면

 

이런화면으로 접속할 수 있게 되었고 DAG script들을 webpage에서 아래와 같이 수정할 수 있게 되었다

끝!