Domine Apache Airflow: Pipelines de Engenharia de Dados
Compre Agora
Saiba mais
1. Introdução
Apresentação: O que Vamos Estudar?
O que é Apache Airflow
Como Airflow Funciona
Material do Curso
2. Preparação do Ambiente
Sobre o Ambiente
Docker Airflow
3. Conhecendo o Airflow
Conhecendo a UI
Grid, Graph e Calendar
Outros Modos
4. Criando Dags
A Estrutura de uma Dag
Configurações desta Seção: Melhore o Airflow
Primeira Dag
Primeira Dag na Prática
Segunda Dag: Paralelismo
Terceira Dag: Precedência
Quarta Dag
Principais Operadores
Regras de Gatilho
Exemplo de Trigger
Segundo Exemplo de Trigger
Terceiro Exemplo de Trigger
Dags Complexas
Criando Dags Complexas
Agrupando com TaskGroup
Criando uma Dag com TaskGroup
Dag que Executa Dag
Dag que executa Dag na Prática
Principais Argumentos de uma DAG
Criando Dag com Dicionário
Fundamentos de XCom
Utilizando XCom
Envio de Email
Configurando o Gmail
Configurando o Airflow
Atividade com Email
Criando Dag que Envia Emails
5. Mais Fundamentos: Dags Avançadas
Tasks Dummy
Criando Dags com Task Dummy
Entendendo Variáveis
Utilizando Variáveis em Dags
Fundamentos de Pools
Testando Pools em Dags
Branchs: Decisões em Dags
Criando uma Dag com Branch
Mais sobre PythonOperator
Preparando o Ambiente
Limpeza de Dados com PythonOperator
Conhecendo Datasets
Dag Consumindo Datasets
Atualização sobre API
Fundamentos de Sensors
Criando um Sensor para uma API
6. Providers, Hooks e Banco de Dados
Providers
Operando em Banco de Dados
Hooks
Hooks com Banco de Dados
7. Conhecendo a CLI
Interagindo com Dags pela CLI
CLI para Tasks e Configurações
8. Executer e Configurações
Configuraçoes
Executers
9. Criando Plugins
Sobre Plugins
Criando seu Plugin
Testando seu Plugin com uma DAG
10. Projeto Final
Apresentação
Pré-Requisitos
Criando a DAG
Definindo as Tasks
Finalizando e Executando
11. Bônus
Boas Práticas
Airflow Gerenciado
Produtos
Curso
Seção
11. Bônus
11. Bônus
Domine Apache Airflow: Pipelines de Engenharia de Dados
Compre Agora
Saiba mais
1. Introdução
Apresentação: O que Vamos Estudar?
O que é Apache Airflow
Como Airflow Funciona
Material do Curso
2. Preparação do Ambiente
Sobre o Ambiente
Docker Airflow
3. Conhecendo o Airflow
Conhecendo a UI
Grid, Graph e Calendar
Outros Modos
4. Criando Dags
A Estrutura de uma Dag
Configurações desta Seção: Melhore o Airflow
Primeira Dag
Primeira Dag na Prática
Segunda Dag: Paralelismo
Terceira Dag: Precedência
Quarta Dag
Principais Operadores
Regras de Gatilho
Exemplo de Trigger
Segundo Exemplo de Trigger
Terceiro Exemplo de Trigger
Dags Complexas
Criando Dags Complexas
Agrupando com TaskGroup
Criando uma Dag com TaskGroup
Dag que Executa Dag
Dag que executa Dag na Prática
Principais Argumentos de uma DAG
Criando Dag com Dicionário
Fundamentos de XCom
Utilizando XCom
Envio de Email
Configurando o Gmail
Configurando o Airflow
Atividade com Email
Criando Dag que Envia Emails
5. Mais Fundamentos: Dags Avançadas
Tasks Dummy
Criando Dags com Task Dummy
Entendendo Variáveis
Utilizando Variáveis em Dags
Fundamentos de Pools
Testando Pools em Dags
Branchs: Decisões em Dags
Criando uma Dag com Branch
Mais sobre PythonOperator
Preparando o Ambiente
Limpeza de Dados com PythonOperator
Conhecendo Datasets
Dag Consumindo Datasets
Atualização sobre API
Fundamentos de Sensors
Criando um Sensor para uma API
6. Providers, Hooks e Banco de Dados
Providers
Operando em Banco de Dados
Hooks
Hooks com Banco de Dados
7. Conhecendo a CLI
Interagindo com Dags pela CLI
CLI para Tasks e Configurações
8. Executer e Configurações
Configuraçoes
Executers
9. Criando Plugins
Sobre Plugins
Criando seu Plugin
Testando seu Plugin com uma DAG
10. Projeto Final
Apresentação
Pré-Requisitos
Criando a DAG
Definindo as Tasks
Finalizando e Executando
11. Bônus
Boas Práticas
Airflow Gerenciado
2 Lições
Boas Práticas
Airflow Gerenciado
