Escola de Inteligência Artificial /Formação Spark com Pyspark : o Curso Completo

  • R$ 24,90

Formação Spark com Pyspark : o Curso Completo

  • 80 Lições

🔒Acesso Vitalício ⏰38 horas-aula 🎓Certificado 🧑‍🏫Suporte direto com Professor 📚Material de Apoio 🎬Legendas [auto] Curso prático de Spark: aprenda desde a instalação até o processamento de dados e Machine Learning com PySpark. Inclui DataFrames, SQL, persistência em Parquet e ORC, integração com MongoDB e PostgreSQL, streaming, otimização, e construção de clusters. Acesso a scripts, slides e dados de exemplo.

Quais são os pré-requisitos para fazer esse curso?

Conhecimento básicos de Python e um computador capaz de rodar uma VM com Linux.

Assine e Tenha Acesso Ilimitado!

Cancele quando quiser, sem perguntas!

Conteúdo

1. Introdução

Apresentação
Experimente
Introdução ao Spark
Experimente
Material para Download
Arquitetura e Componentes
Experimente
Context e Session
Formatos de Big Data

2. Instalação e Primeiros Passos

Introdução sobre a Instalação
Downloads
Instalando VM Ubuntu
Instalando Spark
Bibliotecas Adicionais
Rodando Exemplos
Baixando dados de Exemplo
Opcional: Putty com SSH
Putty com SSH

3. DataFrames e RDDs

RDD, Dataset e Dataframe
RDD parte I
RDD parte II
DataFrames Parte I
DataFrames Parte II
DataFrames Parte III
DataFrames Parte IV
Principais Ações e Transformações
Exportando dados
Importando Dados
Atividades: Faça você mesmo
Solução do Faça você mesmo

4. Spark SQL

Spark SQL
Bancos de Dados e Tabelas
Tabelas Gerenciadas e Externas
Views
Comparando DataFrames com Tabelas SQL
Joins
Joins com DataFrames e SQL
Utilizando Spark-sql
Atividades: Faça você mesmo
Solução do Faça você mesmo
Solução do Faça você mesmo - Continuação

5. Outras Fontes de Dados

Conectado a Outras Fontes de Dados
PostgreSQL
Instalando PostgreSQL
Drive JDBC
Lendo e Gravando Dados no PostgreSql
MongoDB
Instalando MongoDB
Lendo e Gravando Dados no MongoDB

6. Criando Aplicações

Aplicação 1: Escrevendo no Console
Aplicação 2: Escrevendo no Console com Parâmetros
Opção e argumentos em Linha de Comando
Aplicação 3: Conversor de Formatos de Arquivos em Spark
Atividades: Faça você mesmo
Solução do Faça você mesmo

7. Machine Learning

Fundamentos de Machine Learning
Machine Learning no Spark
Preparando Dados para Regressão
Criando um Modelo de Regressão
Preparando Dados para Classificação
Criando um Modelo de Classificação
Pipelines
Atividades: Faça você mesmo
Solução do Faça você mesmo

8. Spark Structured Streaming

O que é "Streaming"
Spark Structured Streaming
Casos Práticos
De JSON para o Console
De JSON para PostgreSQL

9. Otimização

Particionamento
Particionamento e Bucketing no Spark
Cache
Cache e Persistência no Spark

10. Outros Aspectos

Usando Spark com Notebooks do Jupyter
Convertendo Pandas para DataFrame do Spark
Usando biblioteca Koalas
Spark UI
Configurações do Spark

11. Construindo um Cluster

Introdução
Clonando VMs
Configurando Nó Master
Configurando Workers
Executando em Cluster

Depoimentos

Veja Como Nossos Cursos Transformaram Carreiras

"O professor Fernando Amaral mostra profundo conhecimento e consegue repassar com maestria os conteúdos abordados nos cursos. Indico 100%."

Renato de Souza Patricio

"40% do curso completado e já estou liderando alguns projetos na empresa onde trabalho."

Esdras Heiderich Costa

"Com o conhecimento adquirido por meio dos cursos, consegui migrar para área de dados e contribuiu para minha evolução profissional conquistando uma pós graduação"

Marco Antonio Oliveira da Silva

"Conheci a EIA em abril de 2021. Em outubro daquele ano, consegui meu primeiro trabalho com dados. Sem dúvida, as aulas da plataforma, especialmente o bootcamp de Ciência de Dados foram essenciais para resolver o case do meu primeiro trabalho na área"

Tsad Martins Borges

"Ajudou demais a saber utilizar de forma correta a inteligência artificial, onde eu não sabia explorar essa ferramenta a meu favor. Super recomendo!!! Ensinamentos Extraordinários e de fácil compreensão!! Agradecida!! "

Sueli de Sousa Alves

"Como Analista de Dados Espaciais, estou sempre em busca de aprimorar minhas habilidades e aplicar novas técnicas em projetos reais. Os cursos oferecidos aqui são voltados diretamente para projetos práticos, o que os torna extremamente relevantes para minha vida profissional"

Fernando Gomes

"Gostaria de expressar minha profunda gratidão à Escola EIA e ao professor Fernando Amaral pelos cursos excepcionais na área de Dados. A qualidade do ensino e a dedicação do professor Fernando foram fundamentais para minha transição de Gerente de Supermercado para Analista de Dados na maior empresa privada do Paraná."

Diego Henrique Antonio de Morais

"O que me fez ser aluno da EIA foi o PLANO DE CARREIRA, pois existe uma sequência para cada objetivo almejado, não se trata de treinamentos avulsos, mas de uma linha coerente do básico ao avançado"

Alde Alexandre Araújo Ferreira

"Literalmente "mão na massa"! Sabemos que este é o momento de criar agilidade com I.A. A economia de tempo é enorme, e tempo é o ativo mais escasso que temos. Uma capacitação prática como a que tive com a Escola é fundamental para não perdermos tempo no aprendizado e rapidamente aplicarmos no trabalho"

Márcio dos Santos Pessoa

Fernando Amaral – Referência em Inteligência Artificial no Brasil

• Autor de best-sellers como Introdução à Ciência de Dados
• Consultor em projetos internacionais, com mais de 15 anos de experiência em tecnologia e inovação
• Mais de 250 mil alunos impactados por seus cursos de IA, ciência de dados e engenharia de dados
• Professor universitário e divulgador ativo de conhecimento técnico e aplicado

Perguntas Frequentes

Selecione o tópico da sua dúvida

Reembolso

Posso pedir reembolso se não gostar do curso?
Sim, você pode solicitar um reembolso dentro de 7 dias após a compra, caso não esteja satisfeito com o curso.

Suporte

Os cursos gratuitos oferecem suporte?

Sim, todos os cursos, incluindo os gratuitos, oferecem suporte para os alunos.

Acesso Vitalício

O acesso aos cursos é limitado?

Não, o acesso aos cursos é vitalício. Você pode acessar o conteúdo do curso a qualquer momento, para sempre.

Certificados

Receberei um certificado ao concluir um curso gratuito?
Sim, todos os cursos, incluindo os gratuitos, fornecem certificados de conclusão.

Conteúdo Atualizado

Os cursos são atualizados regularmente?

Sim, nos esforçamos para manter todos os cursos atualizados com as últimas informações e práticas da indústria.

Aulas Práticas

Os cursos incluem aulas práticas?
Sim, muitos de nossos cursos incluem aulas práticas e exercícios para garantir que você possa aplicar o que aprendeu.

Requisitos Técnicos

Quais são os requisitos técnicos para acessar os cursos?
Você precisa de um dispositivo com acesso à internet. Alguns cursos específicos podem ter requisitos adicionais, que serão listados na descrição do curso.

Certificações e Validade

Os certificados são reconhecidos no mercado de trabalho?
Nossos certificados são amplamente reconhecidos e podem ser adicionados ao seu currículo ou perfil do LinkedIn para demonstrar suas habilidades.

Interação com Instrutores

Posso interagir com os instrutores dos cursos?
Sim, nossos cursos oferecem a possibilidade de interação com os instrutores através de fóruns de discussão e sessões de perguntas e respostas.

Comunidade de Alunos

Existe uma comunidade de alunos para discutir os cursos?
Sim, incentivamos a participação na nossa comunidade de alunos, onde você pode discutir conteúdos, tirar dúvidas e trocar experiências.

Planos de Estudo

Os cursos oferecem planos de estudo personalizados?
Sim, muitos cursos incluem planos de estudo sugeridos para ajudar você a organizar seu tempo de estudo de maneira eficiente.

Acesso em Dispositivos Móveis

Posso acessar os cursos em dispositivos móveis?
Sim, nossos cursos são compatíveis com dispositivos móveis, permitindo que você estude de qualquer lugar.

Alguns de Nossos Clientes Corporativos

WhatsApp