Python & Airflow 学习笔记_环境架设

最近接触到 Airflow 这个工具，顺便纪录一下学习的过程，如果有错误欢迎留言指正
本文仅限于学术用途，各项参考网址皆有附上连结，若有触犯版权请留言告知

一、设备简述

O.S.：Windows 11 专业版IDE：Pycharm 专业版Docker version：v4.10.0虚拟环境：venv (受限于 airflow 必须使用 pip 进行安装)Python version：3.10

二、建立虚拟环境以及撰写 docker-compose.yaml

利用 Pycharm 建立一个虚拟环境，并且建立一个空的 docker-compose.yaml前往 这个网址 複製 docker-coompose.yaml 的内容，并全部贴到专案中的 docker-compose.yaml 档案个人习惯是开一个新环境的同时会建立一份 .gitignore 档案，可以参考 这个网址

三、建立目录及 .env 档

依照官方文件，需要建立三个空的目录，分别为 dags、logs 以及 plugins建立一个 .env 档，并添加 AIRFLOW_UID=50000 进入档案中完成后的目录结构图

四、运行 docker-compose 指令

到这边开始运行 docker-compose 指令来建立环境

于 docker-compose.yaml 同层目录下运行 docker-compose up airflow-init 进行初始化运行 docker-compose up -d 启动 airflow，-d 表示运行于背景于浏览器输入 http://127.0.0.1:8080，即可访问 airflow 页面预设帐号密码皆为 airflow

五、Airflow 成功登入画面

六、和 Postgres 连线

使用官方文件提供的 docker-compose.yaml 进行安装时，会自带一个 postgres 资料库环境，可以按照下面的步骤进行连线

点选 Admin 并点选 Connections点选蓝色加号按照下图填入参数点选 Test 测试连线是否正常，若为正常，上方会出现绿色提示视窗点选 Save 储存连线资讯

七、参考网址

Airflow 官方文件：https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html