Airflow

Apache Airflow

O Apache Airflow é uma ferramenta para o gerenciamento de fluxo de trabalho por meio de DAGs(Directed Acyclic Graph). Estas DAGs são configuradas de acordo com a explicação feita na própria documentação

Esta ferramenta é utilizada pela simplicidade da abstração das DAGs, dos diversos mecanismos para lidar com eventuais falhas de execução, por ser open source e amplamente utilizada por empresas do mundo todo.

Atualmente, possuimos uma instância do airflow em execução. O código e a documentação da instância estão disponíveis no repositório vlg-etl. Acesse o repositório para obter mais informações.

Para contruibiur com a nossa instância do Airflow é necessário clonar o repositório vlg-etl, solicitar as informações necessárias para configurar o ambiente e iniciar a construção de novas DAGs

Para conhecer melhor a ferramenta, considere ler a documentação e assistir aos vídeos: - Instanciando Airflow com Docker - Criando primeira DAG