Escola de Inteligência Artificial /Formação Engenharia de Dados: Domine Big Data!

  • R$ 24,90

Formação Engenharia de Dados: Domine Big Data!

  • 352 Lições

🔒Acesso Vitalício ⏰143 horas-aula 🎓Certificado 🧑‍🏫Suporte direto com Professor 📚Material de Apoio 🎬Legendas [auto] A Engenharia de Dados está em alta demanda. O curso abrange fundamentos, SQL, Data Warehouses, Data Lakes, NoSQL, Hadoop, Spark, Python, streaming, ETL e ferramentas como PostgreSQL e AWS. Inclui dois projetos práticos: Data Lake e Pipeline ETL. Material completo para download.

Quais são os pré-requisitos para fazer esse curso?

Conhecimentos em informática e Lógica de Programação.

Assine e Tenha Acesso Ilimitado!

Cancele quando quiser, sem perguntas!

Conteúdo

1.Introdução

Aviso sobre versões do curso!
O que vamos estudar?
Experimente
Material do Curso para Download
O que é Engenharia de Dados?
Experimente
O que é Big Data?
Estruturas de Dados
História
Conceitos
Conceitos Parte II
Clássico VS Big Data
Operacional VS Analítico
Teorema de CAP

2.Aspectos Gerais sobre Engenharia de Dados

Data Lakes
Projetos
Big Data Ágil
Segurança
Riscos Parte I
Riscos Parte II
Riscos Parte III
Riscos Parte IV
Riscos Parte V
Big Data na Nuvem
Ciência de Dados Parte I
Ciência de Dados Parte II
Ciência de Dados Parte III

3.Criando conta e Ambiente no AWS

Aviso
O Ambiente
Observação sobre Criação de Conta no AWS
Criando uma Conta no AWS
Criando e configurando uma Instância EC2

4.Armazenamentos de dados distribuidos - S3

Visão Geral
Visão Geral na Prática
Ciclo de Vida de Objetos
Ciclo de Vida na Prática
Segurança
Segurança na Prática

5.Modelo Relacional e SQL - Postgres e EC2

Arquitetura Relacional
ACID Parte I
ACID Parte II
Níveis de Isolamento
Estudo de Caso
Formas Normais
Formas Normais: chaves e outros aspectos
Outros Aspectos
Modelo Relacional da JJBike
SQL Parte I
SQL Parte II
SQL Parte III
Estudo de Caso Parte I
Estudo de Caso Parte II
Instalando Postgres
Criando e Populando Banco de Dados
Consultas Básicas
Agregação e Distinct
Insert, update, delete
Transações
Joins
Mais Joins
Atividades

6.Modelo Dimensional - Postgres e EC2

O Modelo Gerencial
Histórico
Granulidade
Data Warehouse
Modelos Dimensionais e Cubos
Cubos
Drills
Fatos
Dimensões
Dimensão Tempo
Hierarquia e Compartilhamento
Medidas
Chave Substituta
Slow Changing Dimension, Modelos, Mascaradas
KPIs e BSC
Dez regras Essenciais
ETL
Estudo de Caso Parte I
Detalhando o Modelo
Estudo de Caso Parte II
Criando o DW
Cargas de dados no DW
Desnormalização
KPIs

7.Data Warehouse Moderno e Data Lake - Redshift

Data Warehouse Moderno
Apresentação do Redshift
Roteiro
Atenção sobre Criação de Instância Redshift!
Criando Instância do Redshift
Criando Bancos de Dados e Tabelas
Criando um Bucket
Carregando Arquivos
Criando Par de Chaves
Carregando Dados com Copy
Criando uma Tabela Desnormalizada
Permitindo Acesso ao Cluster
Construindo Dashboad "ad roc"

8.Fundamentos de NoSQL

Introdução
Chave-Valor
Orientado a Colunas
Orientado a Documentos
Grafos

9.NoSQL Orientado a Documento - Mongodb e EC2

Mongodb Parte I
Mongodb Parte II
Mongodb Parte III
Integridade Referencial
Instalação do Mongodb
Criando coleção e inserindo documentos
Buscando documentos
Projeção e Atualização
Importando Dados

10.NoSQL Chave-Valor - Redis e EC2

Introdução
Strings e Chaves
Hashes
Lists
Sets
Transações
Instalação
Criando Strings
Criando Hashs
Criando Lists
Criando Sets
Criando ZSets
Controlando Transações

11.Introdução ao Ecosistema Hadoop

Introdução
Map e Reduce
HDFS
Limitações do Hadoop

12.Spark com Databricks

Introdução do Spark
Arquitetura e Componentes
Utilizando o Spark
Conhecendo a UI
Operações em Data Frames
Criando Tabelas
Formato Delta
Conexão Externa

13.Engenharia de Dados com Python

Introdução
Criando um Bucket e fazendo Upload
Criando um Banco de Dados
Introdução do Google Colab
Chaves de Acesso
Criando Objetos no Postgres
Conectando ao Bucket
Gravando Objetos no Banco de Dados

14.Aplicações em Streaming - Kinesis

Introdução
Kinesis Streaming
Case
Criando um Stream de Dados
Criando um Consumidor
Kinisses Delivery com Firehouse

15.ETL e Data Crawler - Glue e Athena

Introdução
O que vamos fazer
AIM para o Glue
Criando Buckets e Pastas
Executando o Crawler
Criando o Job
Executando e Avaliando o Resultado
Consultas com Athena

16.Gerenciado Serviços pela CLI

CLI
Configurando e Criando um Bucket
Copiar e Mover
Sincronização
Removendo um Bucket
Mais sobre Profile

17.Projeto Final I

Apresentação
Atividade 1
Atividade 1 - Solução
Atividade 2
Atividade 2 - Solução
Atividade 3
Atividade 3 - Solução
Atividade 4
Atividade 4 - Solução
Atividade 5
Atividade 5 - Solução

18.Projeto Final II

Apresentação
Criando Data Stream
Criando Produtores
Criando Fluxo de Dados
Executando
Criando Role para Glue
Glue Crawler e Job
Consultas com Athena

19.Introdução - ATENÇÃO: AQUI COMEÇA VERSÃO ANTIGA COM VM CLOUDERA

Orientações Gerais
Introdução: O que é Engenharia de Dados
O que Vamos Estudar?
O que é Big Data?
Estruturas de Dados
História dos Banco de Dados
Introdução: Quiz
Conceitos Parte I
Conceitos Parte II
Data warehouse Clássico VS Big Data
Operacional VS Analítico
Teorema de CAP
Introdução: Quiz
Downloads Necessários
Preparando o Ambiente Parte I
Preparando o Ambiente Parte II

20.Modelos Relacionais

Arquitetura Relacional
ACID Parte I
ACID Parte II
Níveis de Isolamento
Modelos Relacionais: Quiz
Estudo de Caso
Formas Normais Parte I
Formas Normais Parte II
Outros Aspectos
Modelo Relacional da JJBike
Linguagem SQL Parte I
Linguagem SQL Parte II
Linguagem SQL Parte III
Modelos Relacionais: Quiz
Estudo de Caso Parte I
Estudo de Caso Parte II
Atenção!
Instalando o Postgresql
Consultas Interativas Parte I
Consultas Interativas Parte II
Consultas Interativas Parte III
Atividades

21.Modelos Dimensionais

O Modelo para Informação Gerencial
Manutenção de Histórico
Granulidade
DataWareshouse
Modelos Dimensionais e Cubos
Cubos
Drills
Modelos Dimensionais: Quiz
Fatos
Dimensões
Dimensão Tempo
Hierarquia e Compartilhamento
Medidas
Chave Substituta
Slow Changing Dimensions, Modelos e Máscaras
KPIs e BSC
Dez Regras Essenciais
ETL
Detalhando o Modelo
Modelos Dimensionais: Quiz
Estudo de Caso Parte I
Estudo de Caso Parte II
Estudo de Caso Parte III
Estudo de Caso Parte IV
Estudo de Caso Parte V
Estudo de Caso Parte VI

22.Introdução a NoSQL

Introdução
Conjunto Chave-Valor (KVP)
Colunas Ordenadas
Bancos de Dados de Documentos
Bancos de Dados de Grafos
Introdução a NoSQL: Quiz

23.NoSQL com MongoDB

MongoDB Parte I
MongoDB Parte II
MongoDB Parte III
Integridade Referencial
NoSQL com MongoDB: Quiz
Importante: Instalação MongoDB
Instalando o MongoDB (Considerações)
instalação
Estudo de Caso Parte I
Estudo de Caso Parte II
Estudo de Caso Parte III
Estudo de Caso Parte IV

24.NoSQL com Redis

Introdução
Strings e Chaves
Hashes
Lists
Sets
Transações
NoSQL com Redis: Quiz
Instalação
Estudo de Caso Parte I
Estudo de Caso Parte II
Estudo de Caso Parte III
Estudo de Caso Parte IV
Estudo de Caso Parte V
Estudo de Caso Parte VI

25.Processamento em Batch com Hadoop

Ecossistema Hadoop
Hadoop e Yarn
HDFS
HDFS: Principais Comandos
Sobre a Aplicação Prática
Limitações do Hadoop
Processamento em Batch com Hadoop: Quiz
Aplicação Prática
Estudo de Caso Parte I
Estudo de Caso Parte II
Atividade

26.SQOOP e Hive: Ecossistema Hadoop

SQOOP
SQOOP: Principais Comandos
SQOOP: Preparando o Ambiente
SQOOP: Estudo de Caso 1
SQOOP: Estudo de Caso 2
SQOOP e Hive: Ecossitema Hadoop: Quiz
Hive
Hive Parte II
Hive: Preparando o Ambiente
Hive: Estudo de Caso Parte I
Hive: Estudo de Caso Parte II
Hive: Estudo de Caso Parte III
Hive Partition e Bucketing
SQOOP e Hive: Ecossitema Hadoop: Quiz
Hive: Estudo de Caso Parte IV

27.Pig e Flume: Mais Ecossistema Hadoop

Pig: Introdução
Pig: Comandos
Pig: Estudo de Caso Parte I
Pig: Estudo de Caso Parte II
Flume: Introdução
Flume: Estudo de Caso Parte I
Flume: Estudo de Caso Parte II
Pig e Flume: Mais Ecossistema Hadoop: Quiz

28.Processamento Real Time e Streaming com Spark

Introdução
RDD
Estudo de Caso Parte I
Estudo de Caso Parte II
Estudo de Caso Parte III
Estudo de Caso Parte IV
Estudo de Caso Parte V
Spark Streaming
Estudo de Caso Parte I
Estudo de Caso Parte II
Outros Sistemas Hadoop Parte I

29.Aspectos Gerais sobre Engenharia de Dados

Data lakes
Projetos de Big Data
Big Data Ágil
Aspectos de Segurança
Riscos Parte I
Riscos Parte II
Riscos Parte III
Riscos Parte IV
Riscos Parte V
Nuvem
Ciência de Dados Parte I
Ciência de Dados Parte II
Ciência de Dados Parte III
Aspectos Gerais sobre Engenharia de Dados: Quiz

30.Projeto Prático: Faça você mesmo!

Introdução
Transacional Parte I
Transacional Parte II
Analítico Parte I
Analítico Parte II
Analítico Parte III
Analítico Parte IV
Contratos Parte I
Contratos Parte II
Contagem Parte I
Contagem Parte II

31.Curso básico de Linux (Opcional)

Introdução ao Linux
Shell de Comando
Prática

32.Encerramento

Dicas de Carreira e Estudo e Encerramento

Depoimentos

Veja Como Nossos Cursos Transformaram Carreiras

"O professor Fernando Amaral mostra profundo conhecimento e consegue repassar com maestria os conteúdos abordados nos cursos. Indico 100%."

Renato de Souza Patricio

"40% do curso completado e já estou liderando alguns projetos na empresa onde trabalho."

Esdras Heiderich Costa

"Com o conhecimento adquirido por meio dos cursos, consegui migrar para área de dados e contribuiu para minha evolução profissional conquistando uma pós graduação"

Marco Antonio Oliveira da Silva

"Conheci a EIA em abril de 2021. Em outubro daquele ano, consegui meu primeiro trabalho com dados. Sem dúvida, as aulas da plataforma, especialmente o bootcamp de Ciência de Dados foram essenciais para resolver o case do meu primeiro trabalho na área"

Tsad Martins Borges

"Ajudou demais a saber utilizar de forma correta a inteligência artificial, onde eu não sabia explorar essa ferramenta a meu favor. Super recomendo!!! Ensinamentos Extraordinários e de fácil compreensão!! Agradecida!! "

Sueli de Sousa Alves

"Como Analista de Dados Espaciais, estou sempre em busca de aprimorar minhas habilidades e aplicar novas técnicas em projetos reais. Os cursos oferecidos aqui são voltados diretamente para projetos práticos, o que os torna extremamente relevantes para minha vida profissional"

Fernando Gomes

"Gostaria de expressar minha profunda gratidão à Escola EIA e ao professor Fernando Amaral pelos cursos excepcionais na área de Dados. A qualidade do ensino e a dedicação do professor Fernando foram fundamentais para minha transição de Gerente de Supermercado para Analista de Dados na maior empresa privada do Paraná."

Diego Henrique Antonio de Morais

"O que me fez ser aluno da EIA foi o PLANO DE CARREIRA, pois existe uma sequência para cada objetivo almejado, não se trata de treinamentos avulsos, mas de uma linha coerente do básico ao avançado"

Alde Alexandre Araújo Ferreira

"Literalmente "mão na massa"! Sabemos que este é o momento de criar agilidade com I.A. A economia de tempo é enorme, e tempo é o ativo mais escasso que temos. Uma capacitação prática como a que tive com a Escola é fundamental para não perdermos tempo no aprendizado e rapidamente aplicarmos no trabalho"

Márcio dos Santos Pessoa

Fernando Amaral – Referência em Inteligência Artificial no Brasil

• Autor de best-sellers como Introdução à Ciência de Dados
• Consultor em projetos internacionais, com mais de 15 anos de experiência em tecnologia e inovação
• Mais de 250 mil alunos impactados por seus cursos de IA, ciência de dados e engenharia de dados
• Professor universitário e divulgador ativo de conhecimento técnico e aplicado

Perguntas Frequentes

Selecione o tópico da sua dúvida

Reembolso

Posso pedir reembolso se não gostar do curso?
Sim, você pode solicitar um reembolso dentro de 7 dias após a compra, caso não esteja satisfeito com o curso.

Suporte

Os cursos gratuitos oferecem suporte?

Sim, todos os cursos, incluindo os gratuitos, oferecem suporte para os alunos.

Acesso Vitalício

O acesso aos cursos é limitado?

Não, o acesso aos cursos é vitalício. Você pode acessar o conteúdo do curso a qualquer momento, para sempre.

Certificados

Receberei um certificado ao concluir um curso gratuito?
Sim, todos os cursos, incluindo os gratuitos, fornecem certificados de conclusão.

Conteúdo Atualizado

Os cursos são atualizados regularmente?

Sim, nos esforçamos para manter todos os cursos atualizados com as últimas informações e práticas da indústria.

Aulas Práticas

Os cursos incluem aulas práticas?
Sim, muitos de nossos cursos incluem aulas práticas e exercícios para garantir que você possa aplicar o que aprendeu.

Requisitos Técnicos

Quais são os requisitos técnicos para acessar os cursos?
Você precisa de um dispositivo com acesso à internet. Alguns cursos específicos podem ter requisitos adicionais, que serão listados na descrição do curso.

Certificações e Validade

Os certificados são reconhecidos no mercado de trabalho?
Nossos certificados são amplamente reconhecidos e podem ser adicionados ao seu currículo ou perfil do LinkedIn para demonstrar suas habilidades.

Interação com Instrutores

Posso interagir com os instrutores dos cursos?
Sim, nossos cursos oferecem a possibilidade de interação com os instrutores através de fóruns de discussão e sessões de perguntas e respostas.

Comunidade de Alunos

Existe uma comunidade de alunos para discutir os cursos?
Sim, incentivamos a participação na nossa comunidade de alunos, onde você pode discutir conteúdos, tirar dúvidas e trocar experiências.

Planos de Estudo

Os cursos oferecem planos de estudo personalizados?
Sim, muitos cursos incluem planos de estudo sugeridos para ajudar você a organizar seu tempo de estudo de maneira eficiente.

Acesso em Dispositivos Móveis

Posso acessar os cursos em dispositivos móveis?
Sim, nossos cursos são compatíveis com dispositivos móveis, permitindo que você estude de qualquer lugar.

Alguns de Nossos Clientes Corporativos

WhatsApp