Baixando dados de Exemplo

Baixando dados de Exemplo

Pré-visualização indisponível

Você precisa fazer login ou se inscrever para ver esta lição.

EntrarInscrever-se

Formação Spark com Pyspark : o Curso Completo

Comprar agoraSaiba mais

1. Introdução

  • Apresentação
  • Material para Download
  • Introdução ao Spark13
  • Arquitetura e Componentes
  • Context e Session
  • Formatos de Big Data2

2. Instalação e Primeiros Passos

  • Introdução sobre a Instalação8
  • Downloads
  • Instalando VM Ubuntu2
  • Instalando Spark20
  • Bibliotecas Adicionais6
  • Rodando Exemplos
  • Baixando dados de Exemplo3
  • Opcional: Putty com SSH
  • Putty com SSH2

3. DataFrames e RDDs

  • RDD, Dataset e Dataframe
  • RDD parte I4
  • RDD parte II2
  • DataFrames Parte I2
  • DataFrames Parte II10
  • DataFrames Parte III4
  • DataFrames Parte IV2
  • Principais Ações e Transformações
  • Exportando dados2
  • Importando Dados
  • Atividades: Faça você mesmo2
  • Solução do Faça você mesmo4

4. Spark SQL

  • Spark SQL2
  • Bancos de Dados e Tabelas2
  • Tabelas Gerenciadas e Externas6
  • Views
  • Comparando DataFrames com Tabelas SQL2
  • Joins
  • Joins com DataFrames e SQL
  • Utilizando Spark-sql
  • Atividades: Faça você mesmo4
  • Solução do Faça você mesmo
  • Solução do Faça você mesmo - Continuação6

5. Outras Fontes de Dados

  • Conectado a Outras Fontes de Dados
  • PostgreSQL
  • Instalando PostgreSQL13
  • Drive JDBC
  • Lendo e Gravando Dados no PostgreSql
  • MongoDB
  • Instalando MongoDB6
  • Lendo e Gravando Dados no MongoDB

6. Criando Aplicações

  • Aplicação 1: Escrevendo no Console
  • Aplicação 2: Escrevendo no Console com Parâmetros
  • Opção e argumentos em Linha de Comando
  • Aplicação 3: Conversor de Formatos de Arquivos em Spark2
  • Atividades: Faça você mesmo
  • Solução do Faça você mesmo

7. Machine Learning

  • Fundamentos de Machine Learning2
  • Machine Learning no Spark
  • Preparando Dados para Regressão4
  • Criando um Modelo de Regressão
  • Preparando Dados para Classificação
  • Criando um Modelo de Classificação3
  • Pipelines
  • Atividades: Faça você mesmo
  • Solução do Faça você mesmo

8. Spark Structured Streaming

  • O que é "Streaming"
  • Spark Structured Streaming5
  • Casos Práticos4
  • De JSON para o Console2
  • De JSON para PostgreSQL4

9. Otimização

  • Particionamento
  • Particionamento e Bucketing no Spark2
  • Cache
  • Cache e Persistência no Spark2

10. Outros Aspectos

  • Usando Spark com Notebooks do Jupyter
  • Convertendo Pandas para DataFrame do Spark
  • Usando biblioteca Koalas2
  • Spark UI
  • Configurações do Spark

11. Construindo um Cluster

  • Introdução
  • Clonando VMs2
  • Configurando Nó Master
  • Configurando Workers
  • Executando em Cluster3