docker compose를 이용한 airflow 설치

설치하려는 곳에 docker와 docker compose가 설치되어 있어야 합니다.

 

docker 및 docker compose 는 설치되어 있다는 가정 하에 설치를 진행하겠습니다.

 

1. 설치 하려는 경로에 디렉토리를 생성합니다.

mkdir airflow
cd airflow
mkdir install
cd install

./airflow/install 아래에 설치 파일을 두고 설치를 진행하겠습니다.

 

 

2. docker-compose.yaml 파일을 다운 받습니다.

 curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.3.3/docker-compose.yaml'

 

3. docker compose 명령어를 통해 설치를 진행합니다.

docker compose up

docker compose up 명령어를 통해 airflow가 설치되는 모습

 

4. 웹 서버 접속

airflow / airflow

계정 정보는 

username : airflow

password : airflow

docker-compose.yaml 파일에 정의되어 있습니다.

 

 

5. docker compose 명령어

# 컨테이너 생성 및 실행
docker compose up

# 컨테이너 중지 및 삭제
docker compose down

# 컨테이너 실행
docker compose start

# 컨테이너 중지
docker compose stop

 

6. 실행된 컨테이너

 

7. 마치며.

Apache Airflow는

작업을 관리하기 위한 웹관리 페이지인 웹서버

워커를 통해 실제 태스크릴 실행시키는 airflow 트리거

태스크를 실행하는 Airflow 워커

태스크 결과를 저장하는 데이터베이스(postgres, redis)

태스크 실행 예약 스케쥴링하는 Airflow 스케줄러

등의 구성요소를 가집니다.

각각의 구성요소가 컨테이너 단위로 실행되어 있는것을 확인할 수 있습니다.

Apach Airflow는 파이썬 기반으로 동작하기때문에 DAG를 작성할때 python 모듈을 사용하여 작성하다보면 

python 모듈을 설치해야할 필요가 생기는데 docker compose에서 사용하는 airflow 이미지를

Dockerfile로 생성하고, 이미지 생성시에 python 모듈을 설치하여 생성하면 docker compose를 통해 배포가 됩니다.

 

github에 airflow study 자료가 올라갈 예정입니다.

https://github.com/pws0601/airflow_study