Engenheiro de Dados PL/SR (Consultoria)

Principais Responsabilidades:

Atuar como consultor em projetos estratégicos de negócios voltados para engenharia de dados utilizando plataforma Databricks ;

Identificar e implementar melhores práticas para cargas de grande volume de dados , garantindo performance e disponibilidade das informações;

Trabalhar com otimização de queries e modelagem de dados para melhorar a eficiência em consultas analíticas;

Desenvolver e manter pipelines de dados (ETL/ELT) para integração de diversas fontes, garantindo qualidade e governança;

Desenhar e implementar arquiteturas de Data Lakehouse , aplicando o conceito Medalhão (Bronze, Silver, Gold);

Apoiar a modelagem de dados para Data Warehouses modernos (Star-Schema, Snowflake);

Explorar boas práticas em ambientes de Big Data , especialmente no contexto Databricks e Delta Lake ;

Uso de formatos abertos como Delta Lake, Iceberg, Parquet e Avro para construção e governança de arquiteturas Lakehouse modernas;

Garantir a governança de dados, incluindo controle de acessos e versionamento.

Buscamos alguém com:

Experiência sólida em Databricks e arquitetura Delta Lakehouse ;

Forte conhecimento em SQL e otimização de queries para processamento distribuído;

Experiência com ETL/ELT e arquitetura de dados escalável;

Conhecimento de pipelines de dados incrementais (UPSERTS, MERGE, CDC);

Experiência em modelagem de dados analítica (Star-Schema, Snowflake);

Experiência com cargas em Databricks , incluindo refatoração de pipelines e tuning de performance;

Diferenciais:

Familiaridade com Unity Catalog para governança e controle de acesso em Databricks;

Conhecimento em Data Warehouses modernos (Databricks, Snowflake, BigQuery, Redshift);

Vivência em arquiteturas na AWS, com domínio de serviços como S3, IAM, Glue e EMR;

Experiência em provisionar e configurar clusters Databricks do zero, incluindo aspectos de infraestrutura, rede, permissões e integração com catálogos de dados.