1.Introdução

• Aviso sobre versões do curso!6

• O que vamos estudar?

• Material do Curso para Download

• O que é Engenharia de Dados?

• O que é Big Data?1

• Estruturas de Dados2

• História

• Conceitos6

• Conceitos Parte II

• Clássico VS Big Data2

• Operacional VS Analítico

• Teorema de CAP1

2.Aspectos Gerais sobre Engenharia de Dados

• Data Lakes2

• Projetos

• Big Data Ágil

• Segurança

• Riscos Parte I

• Riscos Parte II2

• Riscos Parte III

• Riscos Parte IV

• Riscos Parte V

• Big Data na Nuvem6

• Data Quality e Testes

• Data Contracts, SLAs e SLOs

• Linhagem e Metadados

• Orquestração de Dados

• Modelagem Moderna

• Timezones, UTC e DST

• Observabilidade de Dados

• Ciência de Dados Parte I4

• Ciência de Dados Parte II

• Ciência de Dados Parte III

3.Criando conta e Ambiente no AWS

• Aviso

• O Ambiente2

• Observação sobre Criação de Conta no AWS

• Criando uma Conta no AWS2

• Criando e configurando uma Instância EC210

4.Armazenamentos de dados distribuidos - S3

• Visão Geral4

• Visão Geral na Prática4

• Ciclo de Vida de Objetos

• Ciclo de Vida na Prática2

• Segurança2

• Segurança na Prática3

5.Modelo Relacional e SQL - Postgres e EC2

• Arquitetura Relacional

• ACID Parte I

• ACID Parte II

• Níveis de Isolamento

• Estudo de Caso

• Formas Normais4

• Formas Normais: chaves e outros aspectos2

• Outros Aspectos

• Modelo Relacional da JJBike

• SQL Parte I

• SQL Parte II

• SQL Parte III

• Estudo de Caso Parte I8

• Estudo de Caso Parte II

• Instalando Postgres6

• Criando e Populando Banco de Dados10

• Consultas Básicas4

• Agregação e Distinct2

• Insert, update, delete2

• Transações

• Joins2

• Mais Joins

• Atividades5

6.Modelo Dimensional - Postgres e EC2

• O Modelo Gerencial4

• Histórico5

• Granulidade

• Data Warehouse

• Modelos Dimensionais e Cubos

• Cubos

• Drills

• Fatos4

• Dimensões2

• Dimensão Tempo

• Hierarquia e Compartilhamento

• Medidas

• Chave Substituta2

• Slow Changing Dimension, Modelos, Mascaradas

• KPIs e BSC

• Dez regras Essenciais

• ETL4

• Estudo de Caso Parte I

• Detalhando o Modelo6

• Estudo de Caso Parte II

• Criando o DW4

• Cargas de dados no DW5

• Desnormalização3

• KPIs1

7.Data Warehouse Moderno e Data Lake - Redshift

• Data Warehouse Moderno

• Apresentação do Redshift1

• Roteiro

• Atenção sobre Criação de Instância Redshift!

• Criando Instância do Redshift13

• Criando Bancos de Dados e Tabelas2

• Criando um Bucket

• Carregando Arquivos2

• Criando Par de Chaves

• Carregando Dados com Copy2

• Criando uma Tabela Desnormalizada5

• Permitindo Acesso ao Cluster

• Construindo Dashboad "ad roc"14

8.Fundamentos de NoSQL

• Introdução

• Chave-Valor

• Orientado a Colunas

• Orientado a Documentos

• Grafos

9.NoSQL Orientado a Documento - Mongodb e EC2

• Mongodb Parte I

• Mongodb Parte II

• Mongodb Parte III

• Integridade Referencial

• Instalação do Mongodb4

• Criando coleção e inserindo documentos

• Buscando documentos

• Projeção e Atualização

• Importando Dados

10.NoSQL Chave-Valor - Redis e EC2

• Introdução

• Strings e Chaves2

• Hashes

• Lists

• Sets

• Transações

• Instalação

• Criando Strings

• Criando Hashs

• Criando Lists

• Criando Sets

• Criando ZSets

• Controlando Transações

11.Introdução ao Ecosistema Hadoop

• Introdução

• Map e Reduce

• HDFS

• Limitações do Hadoop

12.Spark com Databricks

• Introdução do Spark

• Arquitetura e Componentes

• Utilizando o Spark3

• Conhecendo a UI

• Operações em Data Frames

• Criando Tabelas

• Formato Delta

• Conexão Externa

13.Engenharia de Dados com Python

• Introdução

• Criando um Bucket e fazendo Upload

• Criando um Banco de Dados2

• Introdução do Google Colab2

• Chaves de Acesso

• Criando Objetos no Postgres2

• Conectando ao Bucket

• Gravando Objetos no Banco de Dados

14.Aplicações em Streaming - Kinesis

• Introdução

• Kinesis Streaming

• Case

• Criando um Stream de Dados

• Criando um Consumidor

• Kinisses Delivery com Firehouse2

15.ETL e Data Crawler - Glue e Athena

• Introdução

• O que vamos fazer

• AIM para o Glue

• Criando Buckets e Pastas

• Executando o Crawler8

• Criando o Job

• Executando e Avaliando o Resultado2

• Consultas com Athena2

16.Gerenciado Serviços pela CLI

• CLI

• Configurando e Criando um Bucket

• Copiar e Mover

• Sincronização

• Removendo um Bucket

• Mais sobre Profile

17.Projeto Final I

• Apresentação2

• Atividade 1

• Atividade 1 - Solução

• Atividade 26

• Atividade 2 - Solução

• Atividade 3

• Atividade 3 - Solução

• Atividade 4

• Atividade 4 - Solução

• Atividade 5

• Atividade 5 - Solução

18.Projeto Final II

• Apresentação

• Criando Data Stream

• Criando Produtores

• Criando Fluxo de Dados

• Executando

• Criando Role para Glue

• Glue Crawler e Job

• Consultas com Athena

19.Introdução - ATENÇÃO: AQUI COMEÇA VERSÃO ANTIGA COM VM CLOUDERA

• Orientações Gerais

• Introdução: O que é Engenharia de Dados

• O que Vamos Estudar?

• O que é Big Data?

• Estruturas de Dados

• História dos Banco de Dados

• Introdução: Quiz

• Conceitos Parte I

• Conceitos Parte II

• Data warehouse Clássico VS Big Data

• Operacional VS Analítico

• Teorema de CAP

• Introdução: Quiz

• Downloads Necessários3

• Preparando o Ambiente Parte I5

• Preparando o Ambiente Parte II

20.Modelos Relacionais

• Arquitetura Relacional

• ACID Parte I

• ACID Parte II

• Níveis de Isolamento2

• Modelos Relacionais: Quiz

• Estudo de Caso

• Formas Normais Parte I

• Formas Normais Parte II

• Outros Aspectos

• Modelo Relacional da JJBike

• Linguagem SQL Parte I

• Linguagem SQL Parte II

• Linguagem SQL Parte III

• Modelos Relacionais: Quiz

• Estudo de Caso Parte I9

• Estudo de Caso Parte II4

• Atenção!

• Instalando o Postgresql10

• Consultas Interativas Parte I

• Consultas Interativas Parte II

• Consultas Interativas Parte III

• Atividades

21.Modelos Dimensionais

• O Modelo para Informação Gerencial

• Manutenção de Histórico

• Granulidade

• DataWareshouse

• Modelos Dimensionais e Cubos

• Cubos

• Drills

• Modelos Dimensionais: Quiz

• Fatos

• Dimensões

• Dimensão Tempo

• Hierarquia e Compartilhamento

• Medidas

• Chave Substituta

• Slow Changing Dimensions, Modelos e Máscaras

• KPIs e BSC

• Dez Regras Essenciais

• ETL

• Detalhando o Modelo

• Modelos Dimensionais: Quiz

• Estudo de Caso Parte I

• Estudo de Caso Parte II

• Estudo de Caso Parte III

• Estudo de Caso Parte IV

• Estudo de Caso Parte V

• Estudo de Caso Parte VI

22.Introdução a NoSQL

• Introdução

• Conjunto Chave-Valor (KVP)

• Colunas Ordenadas

• Bancos de Dados de Documentos

• Bancos de Dados de Grafos

• Introdução a NoSQL: Quiz

23.NoSQL com MongoDB

• MongoDB Parte I

• MongoDB Parte II

• MongoDB Parte III

• Integridade Referencial

• NoSQL com MongoDB: Quiz

• Importante: Instalação MongoDB

• Instalando o MongoDB (Considerações)

• instalação

• Estudo de Caso Parte I

• Estudo de Caso Parte II

• Estudo de Caso Parte III

• Estudo de Caso Parte IV2

24.NoSQL com Redis

• Introdução

• Strings e Chaves

• Hashes

• Lists

• Sets

• Transações

• NoSQL com Redis: Quiz

• Instalação

• Estudo de Caso Parte I

• Estudo de Caso Parte II

• Estudo de Caso Parte III

• Estudo de Caso Parte IV

• Estudo de Caso Parte V

• Estudo de Caso Parte VI

25.Processamento em Batch com Hadoop

• Ecossistema Hadoop

• Hadoop e Yarn

• HDFS

• HDFS: Principais Comandos

• Sobre a Aplicação Prática

• Limitações do Hadoop

• Processamento em Batch com Hadoop: Quiz

• Aplicação Prática

• Estudo de Caso Parte I2

• Estudo de Caso Parte II

• Atividade

26.SQOOP e Hive: Ecossistema Hadoop

• SQOOP

• SQOOP: Principais Comandos

• SQOOP: Preparando o Ambiente

• SQOOP: Estudo de Caso 11

• SQOOP: Estudo de Caso 2

• SQOOP e Hive: Ecossitema Hadoop: Quiz

• Hive

• Hive Parte II

• Hive: Preparando o Ambiente

• Hive: Estudo de Caso Parte I

• Hive: Estudo de Caso Parte II

• Hive: Estudo de Caso Parte III

• Hive Partition e Bucketing

• SQOOP e Hive: Ecossitema Hadoop: Quiz

• Hive: Estudo de Caso Parte IV

27.Pig e Flume: Mais Ecossistema Hadoop

• Pig: Introdução

• Pig: Comandos

• Pig: Estudo de Caso Parte I

• Pig: Estudo de Caso Parte II

• Flume: Introdução

• Flume: Estudo de Caso Parte I

• Flume: Estudo de Caso Parte II

• Pig e Flume: Mais Ecossistema Hadoop: Quiz

28.Processamento Real Time e Streaming com Spark

• Introdução

• RDD

• Estudo de Caso Parte I

• Estudo de Caso Parte II

• Estudo de Caso Parte III

• Estudo de Caso Parte IV

• Estudo de Caso Parte V

• Spark Streaming

• Estudo de Caso Parte I

• Estudo de Caso Parte II

• Outros Sistemas Hadoop Parte I

29.Aspectos Gerais sobre Engenharia de Dados

• Data lakes

• Projetos de Big Data

• Big Data Ágil

• Aspectos de Segurança

• Riscos Parte I

• Riscos Parte II

• Riscos Parte III

• Riscos Parte IV

• Riscos Parte V

• Nuvem

• Ciência de Dados Parte I

• Ciência de Dados Parte II

• Ciência de Dados Parte III

• Aspectos Gerais sobre Engenharia de Dados: Quiz

30.Projeto Prático: Faça você mesmo!

• Introdução

• Transacional Parte I

• Transacional Parte II

• Analítico Parte I

• Analítico Parte II

• Analítico Parte III

• Analítico Parte IV

• Contratos Parte I

• Contratos Parte II

• Contagem Parte I

• Contagem Parte II

31.Curso básico de Linux (Opcional)

• Introdução ao Linux

• Shell de Comando

• Prática

32.Encerramento

• Dicas de Carreira e Estudo e Encerramento3