Ferramentas e Bancos de Dados na Engenharia de Dados: O Que Tenho Visto na Prática

Olá

As pessoas têm me perguntado com frequência quais ferramentas e bancos de dados as empresas têm utilizado no contexto de Engenharia de Dados. A resposta, claro, é bastante complexa.

Compartilho aqui as tecnologias que utilizei nos quatro últimos projetos em que atuei. É importante destacar que isso não representa uma regra geral. Por exemplo, não inclui o Databricks, que é amplamente utilizado, mas pode servir como um parâmetro de referência.

Atual:

• Projeto: Migração de Sistemas

• Área: Logística

• Linguagens: SQL e Python

• Ferramentas: Airflow

• Bancos de Dados: SQL Server / Postgres

• DW: -

Anterior:

• Projeto: Construção de DW

• Área: Saúde

• Linguagens: SQL

• Ferramentas: S3, Glue

• Bancos de Dados: Nenhum, fonte eram arquivos

• DW: Redshift

Anterior

• Projeto: Construção e Manutenção de DW

• Área: Fabricação de Produtos Eletrônicos

• Linguagens: SQL e Python

• Ferramentas: Airflow, Tableau

• Bancos de Dados: Postgres

• DW: Snowflake

Anterior

• Projeto: Construção de DW

• Área: Saúde

• Linguagem: Python e SQL

• Ferramentas: S3, Airflow, dbt, Kinessis, Lambda

• Banco de Dados: Nenhum, fonte eram arquivos

• DWs: Redshift