Formação Spark com Pyspark : o Curso Completo
- Compre Agora
- Saiba mais
1. Introdução

Apresentação
Introdução ao Spark
Material para Download
Arquitetura e Componentes
Context e Session
Formatos de Big Data
2. Instalação e Primeiros Passos

Introdução sobre a Instalação
Downloads
Instalando VM Ubuntu
Instalando Spark
Bibliotecas Adicionais
Rodando Exemplos
Baixando dados de Exemplo
Opcional: Putty com SSH
Putty com SSH
3. DataFrames e RDDs

RDD, Dataset e Dataframe
RDD parte I
RDD parte II
DataFrames Parte I
DataFrames Parte II
DataFrames Parte III
DataFrames Parte IV
Principais Ações e Transformações
Exportando dados
Importando Dados
Atividades: Faça você mesmo
Solução do Faça você mesmo
4. Spark SQL

Spark SQL
Bancos de Dados e Tabelas
Tabelas Gerenciadas e Externas
Views
Comparando DataFrames com Tabelas SQL
Joins
Joins com DataFrames e SQL
Utilizando Spark-sql
Atividades: Faça você mesmo
Solução do Faça você mesmo
Solução do Faça você mesmo - Continuação
5. Outras Fontes de Dados

Conectado a Outras Fontes de Dados
PostgreSQL
Instalando PostgreSQL
Drive JDBC
Lendo e Gravando Dados no PostgreSql
MongoDB
Instalando MongoDB
Lendo e Gravando Dados no MongoDB
6. Criando Aplicações

Aplicação 1: Escrevendo no Console
Aplicação 2: Escrevendo no Console com Parâmetros
Opção e argumentos em Linha de Comando
Aplicação 3: Conversor de Formatos de Arquivos em Spark
Atividades: Faça você mesmo
Solução do Faça você mesmo
7. Machine Learning

Fundamentos de Machine Learning
Machine Learning no Spark
Preparando Dados para Regressão
Criando um Modelo de Regressão
Preparando Dados para Classificação
Criando um Modelo de Classificação
Pipelines
Atividades: Faça você mesmo
Solução do Faça você mesmo
8. Spark Structured Streaming

O que é "Streaming"
Spark Structured Streaming
Casos Práticos
De JSON para o Console
De JSON para PostgreSQL
9. Otimização

Particionamento
Particionamento e Bucketing no Spark
Cache
Cache e Persistência no Spark
10. Outros Aspectos

Usando Spark com Notebooks do Jupyter
Convertendo Pandas para DataFrame do Spark
Usando biblioteca Koalas
Spark UI
Configurações do Spark
11. Construindo um Cluster

Introdução
Clonando VMs
Configurando Nó Master
Configurando Workers
Executando em Cluster

8. Spark Structured Streaming

5 Lições