Arquitetura
A arquitetura do Airflow é composta por três componentes principais: a web UI, o scheduler e os workers. A web UI fornece uma interface visual para gerenciar e monitorar fluxos de trabalho, enquanto o scheduler é responsável por agendar e gerenciar as tarefas. Os workers são os componentes que executam as tarefas
DAGs
Os fluxos de trabalho no Airflow são representados por DAGs (Directed Acyclic Graphs), que são diagramas de fluxo de trabalho que representam as tarefas e as dependências entre elas. Cada tarefa em um DAG é representada por um nó no gráfico e as dependências são representadas por setas que conectam os nós.
Tasks
As tarefas no Airflow são representadas por “Operators”, que são objetos Python que representam uma ação específica a ser executada. Existem vários tipos de operadores disponíveis, incluindo operadores de banco de dados, operadores de arquivos, operadores de rede e operadores de sistema de mensagens. Além disso, existem “Sensors” que são usados para monitorar eventos externos e desencadear ações quando determinadas condições são atendidas.
Operatores e Sensors
Um exemplo simples de uso do Airflow seria criar um DAG que automatiza o processo de extrair, transformar e carregar (ETL) dados de uma fonte de dados para um banco de dados. O DAG pode conter várias tarefas, cada uma representada por um operador específico. Por exemplo, uma tarefa pode ser usar o operador “PythonOperator” para executar um script Python que realiza a extração de dados, enquanto outra tarefa pode usar o operador “PostgresOperator” para carregar os dados em um banco de dados Postgres.
Além disso, podemos adicionar Sensors, para monitorar o status de uma determinada tabela do banco de dados, e assim que a tabela estiver pronta, o DAG será executado.
Para exemplos e referências de Operators e Sensors, utilize o repositório da Astronomer – uma desenvolvedora do Airflow Enterprise – onde contém a maioria dos provedores que podem ser utilizados: https://registry.astronomer.io/
Conclusão
Em resumo, o Airflow é uma ferramenta poderosa para automatizar e gerenciar fluxos de trabalho. Ele permite criar fluxos de trabalho complexos com facilidade e escalabilidade, e oferece uma variedade de operadores e sensores para cumprir as necessidades diferentes.