Formação Engenharia de Dados: Domine Big Data! 2025
- Compre Agora
- Saiba mais
1.Introdução

Aviso sobre versões do curso!
O que vamos estudar?
Material do Curso para Download
O que é Engenharia de Dados?
O que é Big Data?
Estruturas de Dados
História
Conceitos
Conceitos Parte II
Clássico VS Big Data
Operacional VS Analítico
Teorema de CAP
2.Aspectos Gerais sobre Engenharia de Dados

Data Lakes
Projetos
Big Data Ágil
Segurança
Riscos Parte I
Riscos Parte II
Riscos Parte III
Riscos Parte IV
Riscos Parte V
Big Data na Nuvem
Ciência de Dados Parte I
Ciência de Dados Parte II
Ciência de Dados Parte III
3.Criando conta e Ambiente no AWS

Aviso
O Ambiente
Criando uma Conta no AWS
Criando e configurando uma Instância EC2
4.Armazenamentos de dados distribuidos - S3

Visão Geral
Visão Geral na Prática
Ciclo de Vida de Objetos
Ciclo de Vida na Prática
Segurança
Segurança na Prática
5.Modelo Relacional e SQL - Postgres e EC2

Arquitetura Relacional
ACID Parte I
ACID Parte II
Níveis de Isolamento
Estudo de Caso
Formas Normais
Formas Normais: chaves e outros aspectos
Outros Aspectos
Modelo Relacional da JJBike
SQL Parte I
SQL Parte II
SQL Parte III
Estudo de Caso Parte I
Estudo de Caso Parte II
Instalando Postgres
Criando e Populando Banco de Dados
Consultas Básicas
Agregação e Distinct
Insert, update, delete
Transações
Joins
Mais Joins
Atividades
6.Modelo Dimensional - Postgres e EC2

O Modelo Gerencial
Histórico
Granulidade
Data Warehouse
Modelos Dimensionais e Cubos
Cubos
Drills
Fatos
Dimensões
Dimensão Tempo
Hierarquia e Compartilhamento
Medidas
Chave Substituta
Slow Changing Dimension, Modelos, Mascaradas
KPIs e BSC
Dez regras Essenciais
ETL
Estudo de Caso Parte I
Detalhando o Modelo
Estudo de Caso Parte II
Criando o DW
Cargas de dados no DW
Desnormalização
KPIs
7.Data Warehouse Moderno e Data Lake - Redshift

Data Warehouse Moderno
Apresentação do Redshift
Roteiro
Atenção sobre Criação de Instância Redshift!
Criando Instância do Redshift
Criando Bancos de Dados e Tabelas
Criando um Bucket
Carregando Arquivos
Criando Par de Chaves
Carregando Dados com Copy
Criando uma Tabela Desnormalizada
Permitindo Acesso ao Cluster
Construindo Dashboad "ad roc"
8.Fundamentos de NoSQL

Introdução
Chave-Valor
Orientado a Colunas
Orientado a Documentos
Grafos
9.NoSQL Orientado a Documento - Mongodb e EC2

Mongodb Parte I
Mongodb Parte II
Mongodb Parte III
Integridade Referencial
Instalação do Mongodb
Criando coleção e inserindo documentos
Buscando documentos
Projeção e Atualização
Importando Dados
10.NoSQL Chave-Valor - Redis e EC2

Introdução
Strings e Chaves
Hashes
Lists
Sets
Transações
Instalação
Criando Strings
Criando Hashs
Criando Lists
Criando Sets
Criando ZSets
Controlando Transações
11.Introdução ao Ecosistema Hadoop

Introdução
Map e Reduce
HDFS
Limitações do Hadoop
12.Spark com Databricks

Introdução do Spark
Arquitetura e Componentes
Utilizando o Spark
Conhecendo a UI
Operações em Data Frames
Criando Tabelas
Formato Delta
Conexão Externa
13.Engenharia de Dados com Python

Introdução
Criando um Bucket e fazendo Upload
Criando um Banco de Dados
Introdução do Google Colab
Chaves de Acesso
Criando Objetos no Postgres
Conectando ao Bucket
Gravando Objetos no Banco de Dados
14.Aplicações em Streaming - Kinesis

Introdução
Kinesis Streaming
Case
Criando um Stream de Dados
Criando um Consumidor
Kinisses Delivery com Firehouse
15.ETL e Data Crawler - Glue e Athena

Introdução
O que vamos fazer
AIM para o Glue
Criando Buckets e Pastas
Executando o Crawler
Criando o Job
Executando e Avaliando o Resultado
Consultas com Athena
16.Gerenciado Serviços pela CLI

CLI
Configurando e Criando um Bucket
Copiar e Mover
Sincronização
Removendo um Bucket
Mais sobre Profile
17.Projeto Final I

Apresentação
Atividade 1
Atividade 1 - Solução
Atividade 2
Atividade 2 - Solução
Atividade 3
Atividade 3 - Solução
Atividade 4
Atividade 4 - Solução
Atividade 5
Atividade 5 - Solução
18.Projeto Final II

Apresentação
Criando Data Stream
Criando Produtores
Criando Fluxo de Dados
Executando
Criando Role para Glue
Glue Crawler e Job
Consultas com Athena
19.Introdução - ATENÇÃO: AQUI COMEÇA VERSÃO ANTIGA COM VM CLOUDERA

Orientações Gerais
Introdução: O que é Engenharia de Dados
O que Vamos Estudar?
O que é Big Data?
Estruturas de Dados
História dos Banco de Dados
Introdução: Quiz
Conceitos Parte I
Conceitos Parte II
Data warehouse Clássico VS Big Data
Operacional VS Analítico
Teorema de CAP
Introdução: Quiz
Downloads Necessários
Preparando o Ambiente Parte I
Preparando o Ambiente Parte II
20.Modelos Relacionais

Arquitetura Relacional
ACID Parte I
ACID Parte II
Níveis de Isolamento
Modelos Relacionais: Quiz
Estudo de Caso
Formas Normais Parte I
Formas Normais Parte II
Outros Aspectos
Modelo Relacional da JJBike
Linguagem SQL Parte I
Linguagem SQL Parte II
Linguagem SQL Parte III
Modelos Relacionais: Quiz
Estudo de Caso Parte I
Estudo de Caso Parte II
Atenção!
Instalando o Postgresql
Consultas Interativas Parte I
Consultas Interativas Parte II
Consultas Interativas Parte III
Atividades
21.Modelos Dimensionais

O Modelo para Informação Gerencial
Manutenção de Histórico
Granulidade
DataWareshouse
Modelos Dimensionais e Cubos
Cubos
Drills
Modelos Dimensionais: Quiz
Fatos
Dimensões
Dimensão Tempo
Hierarquia e Compartilhamento
Medidas
Chave Substituta
Slow Changing Dimensions, Modelos e Máscaras
KPIs e BSC
Dez Regras Essenciais
ETL
Detalhando o Modelo
Modelos Dimensionais: Quiz
Estudo de Caso Parte I
Estudo de Caso Parte II
Estudo de Caso Parte III
Estudo de Caso Parte IV
Estudo de Caso Parte V
Estudo de Caso Parte VI
22.Introdução a NoSQL

Introdução
Conjunto Chave-Valor (KVP)
Colunas Ordenadas
Bancos de Dados de Documentos
Bancos de Dados de Grafos
Introdução a NoSQL: Quiz
23.NoSQL com MongoDB

MongoDB Parte I
MongoDB Parte II
MongoDB Parte III
Integridade Referencial
NoSQL com MongoDB: Quiz
Importante: Instalação MongoDB
Instalando o MongoDB (Considerações)
instalação
Estudo de Caso Parte I
Estudo de Caso Parte II
Estudo de Caso Parte III
Estudo de Caso Parte IV
24.NoSQL com Redis

Introdução
Strings e Chaves
Hashes
Lists
Sets
Transações
NoSQL com Redis: Quiz
Instalação
Estudo de Caso Parte I
Estudo de Caso Parte II
Estudo de Caso Parte III
Estudo de Caso Parte IV
Estudo de Caso Parte V
Estudo de Caso Parte VI
25.Processamento em Batch com Hadoop

Ecossistema Hadoop
Hadoop e Yarn
HDFS
HDFS: Principais Comandos
Sobre a Aplicação Prática
Limitações do Hadoop
Processamento em Batch com Hadoop: Quiz
Aplicação Prática
Estudo de Caso Parte I
Estudo de Caso Parte II
Atividade
26.SQOOP e Hive: Ecossistema Hadoop

SQOOP
SQOOP: Principais Comandos
SQOOP: Preparando o Ambiente
SQOOP: Estudo de Caso 1
SQOOP: Estudo de Caso 2
SQOOP e Hive: Ecossitema Hadoop: Quiz
Hive
Hive Parte II
Hive: Preparando o Ambiente
Hive: Estudo de Caso Parte I
Hive: Estudo de Caso Parte II
Hive: Estudo de Caso Parte III
Hive Partition e Bucketing
SQOOP e Hive: Ecossitema Hadoop: Quiz
Hive: Estudo de Caso Parte IV
27.Pig e Flume: Mais Ecossistema Hadoop

Pig: Introdução
Pig: Comandos
Pig: Estudo de Caso Parte I
Pig: Estudo de Caso Parte II
Flume: Introdução
Flume: Estudo de Caso Parte I
Flume: Estudo de Caso Parte II
Pig e Flume: Mais Ecossistema Hadoop: Quiz
28.Processamento Real Time e Streaming com Spark

Introdução
RDD
Estudo de Caso Parte I
Estudo de Caso Parte II
Estudo de Caso Parte III
Estudo de Caso Parte IV
Estudo de Caso Parte V
Spark Streaming
Estudo de Caso Parte I
Estudo de Caso Parte II
Outros Sistemas Hadoop Parte I
29.Aspectos Gerais sobre Engenharia de Dados

Data lakes
Projetos de Big Data
Big Data Ágil
Aspectos de Segurança
Riscos Parte I
Riscos Parte II
Riscos Parte III
Riscos Parte IV
Riscos Parte V
Nuvem
Ciência de Dados Parte I
Ciência de Dados Parte II
Ciência de Dados Parte III
Aspectos Gerais sobre Engenharia de Dados: Quiz
30.Projeto Prático: Faça você mesmo!

Introdução
Transacional Parte I
Transacional Parte II
Analítico Parte I
Analítico Parte II
Analítico Parte III
Analítico Parte IV
Contratos Parte I
Contratos Parte II
Contagem Parte I
Contagem Parte II
31.Curso básico de Linux (Opcional)

Introdução ao Linux
Shell de Comando
Prática
32.Encerramento

Dicas de Carreira e Estudo e Encerramento

15.ETL e Data Crawler - Glue e Athena

8 Lições