Material para Download

Material para Download

Pré-visualização indisponível

Você precisa fazer login ou se inscrever para ver esta lição.

EntrarInscrever-se

Formação Spark com Pyspark : o Curso Completo

Comprar agoraSaiba mais

1. Introdução

Apresentação

Material para Download

Introdução ao Spark13

Arquitetura e Componentes

Context e Session

Formatos de Big Data2

2. Instalação e Primeiros Passos

Introdução sobre a Instalação8

Downloads

Instalando VM Ubuntu2

Instalando Spark20

Bibliotecas Adicionais6

Rodando Exemplos

Baixando dados de Exemplo3

Opcional: Putty com SSH

Putty com SSH2

3. DataFrames e RDDs

RDD, Dataset e Dataframe

RDD parte I4

RDD parte II2

DataFrames Parte I2

DataFrames Parte II10

DataFrames Parte III4

DataFrames Parte IV2

Principais Ações e Transformações

Exportando dados2

Importando Dados

Atividades: Faça você mesmo2

Solução do Faça você mesmo4

4. Spark SQL

Spark SQL2

Bancos de Dados e Tabelas2

Tabelas Gerenciadas e Externas6

Views

Comparando DataFrames com Tabelas SQL2

Joins

Joins com DataFrames e SQL

Utilizando Spark-sql

Atividades: Faça você mesmo4

Solução do Faça você mesmo

Solução do Faça você mesmo - Continuação6

5. Outras Fontes de Dados

Conectado a Outras Fontes de Dados

PostgreSQL

Instalando PostgreSQL13

Drive JDBC

Lendo e Gravando Dados no PostgreSql

MongoDB

Instalando MongoDB6

Lendo e Gravando Dados no MongoDB

6. Criando Aplicações

Aplicação 1: Escrevendo no Console

Aplicação 2: Escrevendo no Console com Parâmetros

Opção e argumentos em Linha de Comando

Aplicação 3: Conversor de Formatos de Arquivos em Spark2

Atividades: Faça você mesmo

Solução do Faça você mesmo

7. Machine Learning

Fundamentos de Machine Learning2

Machine Learning no Spark

Preparando Dados para Regressão4

Criando um Modelo de Regressão

Preparando Dados para Classificação

Criando um Modelo de Classificação3

Pipelines

Atividades: Faça você mesmo

Solução do Faça você mesmo

8. Spark Structured Streaming

O que é "Streaming"

Spark Structured Streaming5

Casos Práticos4

De JSON para o Console2

De JSON para PostgreSQL4

9. Otimização

Particionamento

Particionamento e Bucketing no Spark2

Cache

Cache e Persistência no Spark2

10. Outros Aspectos

Usando Spark com Notebooks do Jupyter

Convertendo Pandas para DataFrame do Spark

Usando biblioteca Koalas2

Spark UI

Configurações do Spark

11. Construindo um Cluster

Introdução

Clonando VMs2

Configurando Nó Master

Configurando Workers

Executando em Cluster3