1. Introdução

• Apresentação5

• Material do Curso

• O que é Databricks?

2. Fundamentos de Data Warehouse, Data Lake e Delta Lake

• Data Warehouse, Data Lake e Delta Lake2

• Formatos de Big Data

• Armazenamento em Linhas Versus Colunas

• Sistemas de Arquivos Distribuídos

3. Introdução ao Spark

• Introdução ao Spark

• Data Frame no Spark2

• Particionamento e Bucketing

• Arquitetura e Componentes do Spark

• Context e Session

4. Conhecendo Databricks e Criando Cluster

• Conhecendo o Databricks

• Criando Conta Free Edition

• Conhecendo UI do Databricks

5. Utilizando Data Frames e Delta Lake

• Formato Delta e Delta Lake

• Arquivos, DataFrames e Tabelas

• Criando DataFrames

• Importando Dados, Criando Tabelas

• Utilizando Spark e SparkSQL2

• Tabela Delta Versionada4

• Upsert (Merge) com Delta

• Schema Evolutivo (Versionamento de Schema)

• Partições

6. Criando Gráficos e Dashboards

• Criando Gráficos e Dashboards a partir de Tabelas

7. Conhecendo pyspark.pandas (Koalas)

• Conhecendo pyspark.pandas (Koalas)5

8. Criando um Delta LakeHouse

• Introdução

• Criando um Novo Volume

• Inserindo Dados e Excecutando Merge

• Criando Tabela Desnormalizada

9. Conectando ao Delta Lake com Python

• Conectando e Lendo Tabelas2

10. Otimização e Performance

• Planos de Execução

• Planos de Execução na Prática

• Transformação Narrow e Wide, Suffle e Gestão de Chache

• Transformação Narrow e Wide e Outras Técnicas na Prática

• Repartition e Coalesce

• Repartition e Coalesce na Prática

• BroadCastJoin

• BroadCastJoin na Prática1

• Salting na Prática

11. Otimização de Tabelas Delta

• Small File Problem

• Small File Problem na Prática

• Otimização com ZORDER

• Otimização com ZORDER na Prática

• Manutenção com VACUUM

• VACUUM na Prática

• Estratégias de Particionamento

• Particionamento na Prática

12. Monitoramento e Debug

• Monitoramento e Debug no Spark2

13. Qualidade de Dados

• Qualidade de Dados no Spark

14. Qualidade com Delta Lake

• Qualidade e Confiabilidade com Delta Lake

• Qualidade com Delta Lake na Prática

15. Observabilidade de Dados

• Observabilidade de Dados no Delta Lake

• Observabilidade de Dados na Prática

16. Custos e Boas Práticas Operacionais

• Custos no DataBricks

17. Governança e Ambiente Corporativo

• Governança do Databricks

• Linhagem de Dados na Prática4