Transformação Narrow e Wide, Suffle e Gestão de Chache

Transformação Narrow e Wide, Suffle e Gestão de Chache

Pré-visualização indisponível

Você precisa fazer login ou se inscrever para ver esta lição.

EntrarInscrever-se

Formação Completa DataBricks: do Básico ao Avançado 2026

Comprar agoraSaiba mais

1. Introdução

  • Apresentação4
  • Material do Curso
  • O que é Databricks?

2. Fundamentos de Data Warehouse, Data Lake e Delta Lake

  • Data Warehouse, Data Lake e Delta Lake2
  • Formatos de Big Data
  • Armazenamento em Linhas Versus Colunas
  • Sistemas de Arquivos Distribuídos

3. Introdução ao Spark

  • Introdução ao Spark
  • Data Frame no Spark2
  • Particionamento e Bucketing
  • Arquitetura e Componentes do Spark
  • Context e Session

4. Conhecendo Databricks e Criando Cluster

  • Conhecendo o Databricks
  • Criando Conta Free Edition
  • Conhecendo UI do Databricks

5. Utilizando Data Frames e Delta Lake

  • Formato Delta e Delta Lake
  • Arquivos, DataFrames e Tabelas
  • Criando DataFrames
  • Importando Dados, Criando Tabelas
  • Utilizando Spark e SparkSQL2
  • Tabela Delta Versionada1
  • Upsert (Merge) com Delta
  • Schema Evolutivo (Versionamento de Schema)
  • Partições

6. Criando Gráficos e Dashboards

  • Criando Gráficos e Dashboards a partir de Tabelas

7. Conhecendo pyspark.pandas (Koalas)

  • Conhecendo pyspark.pandas (Koalas)5

8. Criando um Delta LakeHouse

  • Introdução
  • Criando um Novo Volume
  • Inserindo Dados e Excecutando Merge
  • Criando Tabela Desnormalizada

9. Conectando ao Delta Lake com Python

  • Conectando e Lendo Tabelas2

10. Otimização e Performance

  • Planos de Execução
  • Planos de Execução na Prática
  • Transformação Narrow e Wide, Suffle e Gestão de Chache
  • Transformação Narrow e Wide e Outras Técnicas na Prática
  • Repartition e Coalesce
  • Repartition e Coalesce na Prática
  • BroadCastJoin
  • BroadCastJoin na Prática
  • Salting na Prática

11. Otimização de Tabelas Delta

  • Small File Problem
  • Small File Problem na Prática
  • Otimização com ZORDER
  • Otimização com ZORDER na Prática
  • Manutenção com VACUUM
  • VACUUM na Prática
  • Estratégias de Particionamento
  • Particionamento na Prática

12. Monitoramento e Debug

  • Monitoramento e Debug no Spark

13. Qualidade de Dados

  • Qualidade de Dados no Spark

14. Qualidade com Delta Lake

  • Qualidade e Confiabilidade com Delta Lake
  • Qualidade com Delta Lake na Prática

15. Observabilidade de Dados

  • Observabilidade de Dados no Delta Lake
  • Observabilidade de Dados na Prática

16. Custos e Boas Práticas Operacionais

  • Custos no DataBricks

17. Governança e Ambiente Corporativo

  • Governança do Databricks
  • Linhagem de Dados na Prática2