1. Introdução

• Apresentação

• Material para Download

• Introdução ao Spark13

• Arquitetura e Componentes

• Context e Session

• Formatos de Big Data2

2. Instalação e Primeiros Passos

• Introdução sobre a Instalação8

• Downloads

• Instalando VM Ubuntu2

• Instalando Spark20

• Bibliotecas Adicionais6

• Rodando Exemplos

• Baixando dados de Exemplo3

• Opcional: Putty com SSH

• Putty com SSH2

3. DataFrames e RDDs

• RDD, Dataset e Dataframe

• RDD parte I4

• RDD parte II2

• DataFrames Parte I2

• DataFrames Parte II10

• DataFrames Parte III4

• DataFrames Parte IV2

• Principais Ações e Transformações

• Exportando dados2

• Importando Dados

• Atividades: Faça você mesmo2

• Solução do Faça você mesmo4

4. Spark SQL

• Spark SQL2

• Bancos de Dados e Tabelas2

• Tabelas Gerenciadas e Externas6

• Views

• Comparando DataFrames com Tabelas SQL2

• Joins

• Joins com DataFrames e SQL

• Utilizando Spark-sql

• Atividades: Faça você mesmo4

• Solução do Faça você mesmo

• Solução do Faça você mesmo - Continuação6

5. Outras Fontes de Dados

• Conectado a Outras Fontes de Dados

• PostgreSQL

• Instalando PostgreSQL13

• Drive JDBC

• Lendo e Gravando Dados no PostgreSql

• MongoDB

• Instalando MongoDB6

• Lendo e Gravando Dados no MongoDB

6. Criando Aplicações

• Aplicação 1: Escrevendo no Console

• Aplicação 2: Escrevendo no Console com Parâmetros

• Opção e argumentos em Linha de Comando

• Aplicação 3: Conversor de Formatos de Arquivos em Spark2

• Atividades: Faça você mesmo

• Solução do Faça você mesmo

7. Machine Learning

• Fundamentos de Machine Learning2

• Machine Learning no Spark

• Preparando Dados para Regressão4

• Criando um Modelo de Regressão

• Preparando Dados para Classificação

• Criando um Modelo de Classificação3

• Pipelines

• Atividades: Faça você mesmo

• Solução do Faça você mesmo

8. Spark Structured Streaming

• O que é "Streaming"

• Spark Structured Streaming5

• Casos Práticos4

• De JSON para o Console2

• De JSON para PostgreSQL4

9. Otimização

• Particionamento

• Particionamento e Bucketing no Spark2

• Cache

• Cache e Persistência no Spark2

10. Outros Aspectos

• Usando Spark com Notebooks do Jupyter

• Convertendo Pandas para DataFrame do Spark

• Usando biblioteca Koalas2

• Spark UI

• Configurações do Spark

11. Construindo um Cluster

• Introdução

• Clonando VMs2

• Configurando Nó Master

• Configurando Workers

• Executando em Cluster3