Pré-visualização indisponível

1. Introdução

• Apresentação

• Introdução ao Spark

• Arquitetura e Componentes

• Context e Session

• Formatos de Big Data

• Material para Download

2. Instalação e Primeiros Passos

• Ambiente do Curso

• Instalando Docker

• Materiais do Curso

• Criando Container e Rodando

3. DataFrames e RDDs

• RDD, Dataset e Dataframe

• Iniciando o Ambiente

• Operações Básicas em RDDs

• Operações em Conjuntos com RDDs

• Dataframes

• Criando Dataframes

• Criando Dataframes Importando Dados

• Persistindo e Carregando Dados

• Actions e Outras Funções

• Dados em Parquets

• Criando Joins

4. Spark SQL

• Spark SQL

• Criando Tabelas Gerenciadas

• Tabelas Gerenciadas e não Gerenciadas

• Views

• Dataframes Versus Spark SQL

• Joins

• Joins com SQL e Dataframes

• Atividades

• Criando Banco de Dados e Tabelas Gerenciadas

• Joins com Itens de Vendas

5. Outras Fontes de Dados

• Conheça a NovaDrive Motors

• Conectando ao Postgres

• Criando Função Ler Tabelas

• Usando SQL para Consultas

• Obtendo dados com SQL

6. Criando Aplicações Spark

• Aplicações Pyspark

• Aplicação de Transformação

• Aplicação Parametrizada

• Conversor de Formato de Arquivos

• Gravando Tabela de Banco de Dados em Disco

7. Machine Learning Nativo com Spark

• Fundamentos de Machine Learning

• Machine Learning no Spark

• Dados para Regressão Linear

• Criando Modelos de Regressão Linear

• Comparando Modelos de Regressão

• Classificação Binária e Balanceamento de Classe

• Treinando e Testando Classificadores

• Classificador Multi Classe

8. Streaming Estruturado

• O que é Streaming

• Spark Structured Streaming

• Caso Prático

• Criando App Streaming

• Gerando Arquivos Automaticamente

9. Otimização e Performance

• Particionamento e Bucketing

• Particionamento

• Buckets2

• Planos de Execução

• Planos de Execução no Spark

• Transformação Narrow e Wide, Suffle e Gestão de Cache

• Cache e Persist

• Cache e Persist no Spark2

• Repartition e Coalesce2

• Repartition e Coalesce no Spark

• Broadcast Join

• Boardcast Join no Spark

• Data Skew e Salting

10. Configurações e UI

• Conhecendo Spark UI

• Spark UI na Prática

• Configurações do Spark

• Configurações do Spark na Prática

11. Apache Iceberg

• Apresentação do Apache Iceberg

• Iceberg Catalog e Metadados

• ACID

• Time Travel e Snapshots

• Particionamento

• Outras Características

• Compatibilidade

12. Apache com Iceberg na Prática

• Criando Container com Iceberg

• Criando Catalogo e Tabela

• Snapshots

• ACID

• ACID

• Time Travel

• Particionamento

• Evolução de Schema

13. Criando um DataLake

• Data Lake

• Criando um Data Lake

• Consultas

• Snapshots, Time travel e Rollback

1. Introdução (Atenção a partir daqui: Versão Antiga Disponível até 28/07/2026)

• Apresentação

• Material para Download3

• Introdução ao Spark13

• Arquitetura e Componentes

• Context e Session

• Formatos de Big Data2

2. Instalação e Primeiros Passos

• Introdução sobre a Instalação8

• Downloads

• Instalando VM Ubuntu2

• Instalando Spark20

• Bibliotecas Adicionais6

• Rodando Exemplos

• Baixando dados de Exemplo3

• Opcional: Putty com SSH

• Putty com SSH2

3. DataFrames e RDDs

• RDD, Dataset e Dataframe

• RDD parte I4

• RDD parte II2

• DataFrames Parte I2

• DataFrames Parte II10

• DataFrames Parte III4

• DataFrames Parte IV4

• Principais Ações e Transformações

• Exportando dados2

• Importando Dados

• Atividades: Faça você mesmo2

• Solução do Faça você mesmo4

4. Spark SQL

• Spark SQL2

• Bancos de Dados e Tabelas2

• Tabelas Gerenciadas e Externas6

• Views

• Comparando DataFrames com Tabelas SQL4

• Joins

• Joins com DataFrames e SQL

• Utilizando Spark-sql

• Atividades: Faça você mesmo4

• Solução do Faça você mesmo

• Solução do Faça você mesmo - Continuação6

5. Outras Fontes de Dados

• Conectado a Outras Fontes de Dados

• PostgreSQL

• Instalando PostgreSQL13

• Drive JDBC

• Lendo e Gravando Dados no PostgreSql

• MongoDB

• Instalando MongoDB6

• Lendo e Gravando Dados no MongoDB

6. Criando Aplicações

• Aplicação 1: Escrevendo no Console

• Aplicação 2: Escrevendo no Console com Parâmetros

• Opção e argumentos em Linha de Comando

• Aplicação 3: Conversor de Formatos de Arquivos em Spark2

• Atividades: Faça você mesmo

• Solução do Faça você mesmo

7. Machine Learning

• Fundamentos de Machine Learning2

• Machine Learning no Spark

• Preparando Dados para Regressão4

• Criando um Modelo de Regressão

• Preparando Dados para Classificação

• Criando um Modelo de Classificação3

• Pipelines

• Atividades: Faça você mesmo

• Solução do Faça você mesmo

8. Spark Structured Streaming

• O que é "Streaming"

• Spark Structured Streaming5

• Casos Práticos4

• De JSON para o Console2

• De JSON para PostgreSQL4

9. Otimização

• Particionamento

• Particionamento e Bucketing no Spark2

• Cache

• Cache e Persistência no Spark2

10. Outros Aspectos

• Usando Spark com Notebooks do Jupyter

• Convertendo Pandas para DataFrame do Spark

• Usando biblioteca Koalas2

• Spark UI

• Configurações do Spark

11. Construindo um Cluster

• Introdução

• Clonando VMs2

• Configurando Nó Master

• Configurando Workers

• Executando em Cluster3