Formação Spark com Pyspark : o Curso Completo
Compre Agora
Saiba mais
1. Introdução
Apresentação
Material para Download
Introdução ao Spark
Arquitetura e Componentes
Context e Session
Formatos de Big Data
2. Instalação e Primeiros Passos
Introdução sobre a Instalação
Downloads
Instalando VM Ubuntu
Instalando Spark
Bibliotecas Adicionais
Rodando Exemplos
Baixando dados de Exemplo
Opcional: Putty com SSH
Putty com SSH
3. DataFrames e RDDs
RDD, Dataset e Dataframe
RDD parte I
RDD parte II
DataFrames Parte I
DataFrames Parte II
DataFrames Parte III
DataFrames Parte IV
Principais Ações e Transformações
Exportando dados
Importando Dados
Atividades: Faça você mesmo
Solução do Faça você mesmo
4. Spark SQL
Spark SQL
Bancos de Dados e Tabelas
Tabelas Gerenciadas e Externas
Views
Comparando DataFrames com Tabelas SQL
Joins
Joins com DataFrames e SQL
Utilizando Spark-sql
Atividades: Faça você mesmo
Solução do Faça você mesmo
Solução do Faça você mesmo - Continuação
5. Outras Fontes de Dados
Conectado a Outras Fontes de Dados
PostgreSQL
Instalando PostgreSQL
Drive JDBC
Lendo e Gravando Dados no PostgreSql
MongoDB
Instalando MongoDB
Lendo e Gravando Dados no MongoDB
6. Criando Aplicações
Aplicação 1: Escrevendo no Console
Aplicação 2: Escrevendo no Console com Parâmetros
Opção e argumentos em Linha de Comando
Aplicação 3: Conversor de Formatos de Arquivos em Spark
Atividades: Faça você mesmo
Solução do Faça você mesmo
7. Machine Learning
Fundamentos de Machine Learning
Machine Learning no Spark
Preparando Dados para Regressão
Criando um Modelo de Regressão
Preparando Dados para Classificação
Criando um Modelo de Classificação
Pipelines
Atividades: Faça você mesmo
Solução do Faça você mesmo
8. Spark Structured Streaming
O que é "Streaming"
Spark Structured Streaming
Casos Práticos
De JSON para o Console
De JSON para PostgreSQL
9. Otimização
Particionamento
Particionamento e Bucketing no Spark
Cache
Cache e Persistência no Spark
10. Outros Aspectos
Usando Spark com Notebooks do Jupyter
Convertendo Pandas para DataFrame do Spark
Usando biblioteca Koalas
Spark UI
Configurações do Spark
11. Construindo um Cluster
Introdução
Clonando VMs
Configurando Nó Master
Configurando Workers
Executando em Cluster
Produtos
Curso
Seção
Lição
Formatos de Big Data
Formatos de Big Data
Formação Spark com Pyspark : o Curso Completo
Compre Agora
Saiba mais
1. Introdução
Apresentação
Material para Download
Introdução ao Spark
Arquitetura e Componentes
Context e Session
Formatos de Big Data
2. Instalação e Primeiros Passos
Introdução sobre a Instalação
Downloads
Instalando VM Ubuntu
Instalando Spark
Bibliotecas Adicionais
Rodando Exemplos
Baixando dados de Exemplo
Opcional: Putty com SSH
Putty com SSH
3. DataFrames e RDDs
RDD, Dataset e Dataframe
RDD parte I
RDD parte II
DataFrames Parte I
DataFrames Parte II
DataFrames Parte III
DataFrames Parte IV
Principais Ações e Transformações
Exportando dados
Importando Dados
Atividades: Faça você mesmo
Solução do Faça você mesmo
4. Spark SQL
Spark SQL
Bancos de Dados e Tabelas
Tabelas Gerenciadas e Externas
Views
Comparando DataFrames com Tabelas SQL
Joins
Joins com DataFrames e SQL
Utilizando Spark-sql
Atividades: Faça você mesmo
Solução do Faça você mesmo
Solução do Faça você mesmo - Continuação
5. Outras Fontes de Dados
Conectado a Outras Fontes de Dados
PostgreSQL
Instalando PostgreSQL
Drive JDBC
Lendo e Gravando Dados no PostgreSql
MongoDB
Instalando MongoDB
Lendo e Gravando Dados no MongoDB
6. Criando Aplicações
Aplicação 1: Escrevendo no Console
Aplicação 2: Escrevendo no Console com Parâmetros
Opção e argumentos em Linha de Comando
Aplicação 3: Conversor de Formatos de Arquivos em Spark
Atividades: Faça você mesmo
Solução do Faça você mesmo
7. Machine Learning
Fundamentos de Machine Learning
Machine Learning no Spark
Preparando Dados para Regressão
Criando um Modelo de Regressão
Preparando Dados para Classificação
Criando um Modelo de Classificação
Pipelines
Atividades: Faça você mesmo
Solução do Faça você mesmo
8. Spark Structured Streaming
O que é "Streaming"
Spark Structured Streaming
Casos Práticos
De JSON para o Console
De JSON para PostgreSQL
9. Otimização
Particionamento
Particionamento e Bucketing no Spark
Cache
Cache e Persistência no Spark
10. Outros Aspectos
Usando Spark com Notebooks do Jupyter
Convertendo Pandas para DataFrame do Spark
Usando biblioteca Koalas
Spark UI
Configurações do Spark
11. Construindo um Cluster
Introdução
Clonando VMs
Configurando Nó Master
Configurando Workers
Executando em Cluster
