Material do Curso

Material do Curso

Download.zip (9,92 MB)

Olá,

Anexo a esta aula você encontra o material complementar do curso:

  • Códigos Fonte

  • Dados usados no exemplos

  • Slides em PDF

Basta baixar e descompactar!

Bons estudos!

Prof. Fernando Amaral

Dominando o Databricks com Spark e Pyspark

Comprar agoraSaiba mais

1. Introdução

  • Apresentação4
  • O que é Databricks?
  • Material do Curso

2. Fundamentos de Data Warehouse, Data Lake e Delta Lake

  • Data Warehouse, Data Lake e Delta Lake2
  • Formatos de Big Data
  • Armazenamento em Linhas Versus Colunas
  • Sistemas de Arquivos Distribuídos

3. Introdução ao Spark

  • Introdução ao Spark
  • Data Frame no Spark
  • Particionamento e Bucketing
  • Arquitetura e Componentes do Spark
  • Context e Session

4. Conhecendo Databricks e Criando Cluster

  • Conhecendo o Databricks
  • Criando Conta Free Edition
  • Conhecendo UI do Databricks

5. Utilizando Data Frames e Delta Lake

  • Formato Delta e Delta Lake
  • Arquivos, DataFrames e Tabelas
  • Criando DataFrames
  • Importando Dados, Criando Tabelas
  • Utilizando Spark e SparkSQL2
  • Tabela Delta Versionada1
  • Upsert (Merge) com Delta
  • Schema Evolutivo (Versionamento de Schema)
  • Partições

6. Criando Gráficos e Dashboards

  • Criando Gráficos e Dashboards a partir de Tabelas

7. Conhecendo pyspark.pandas (Koalas)

  • Conhecendo pyspark.pandas (Koalas)5

8. Criando um Delta LakeHouse

  • Introdução
  • Criando um Novo Volume
  • Inserindo Dados e Excecutando Merge
  • Criando Tabela Desnormalizada

9. Conectando ao Delta Lake com Python

  • Conectando e Lendo Tabelas2