Engenheiro(a) de Dados Sênior | FinOps | Databricks | Cloud Cost

Buscamos uma pessoa Engenheira de Dados Sênior para atuar em uma Squad FinOps, desenvolvendo soluções de engenharia de dados voltadas à gestão, análise e otimização de custos de infraestrutura em nuvem.

A pessoa terá papel importante na construção e evolução de pipelines de dados de billing e telemetria, transformando grandes volumes de informações em dados confiáveis, rastreáveis e estruturados para análises financeiras, operacionais e estratégicas.

O desafio envolve trabalhar com dados de diferentes provedores de nuvem, estruturar modelos de custos, estabelecer critérios de alocação e rateio e garantir qualidade, governança e desempenho em uma plataforma de dados baseada em Databricks.

Responsabilidades e Atribuições:

Desenvolver e manter pipelines de dados escaláveis para ingestão, transformação, consolidação e disponibilização de dados de billing e telemetria.

Construir e evoluir arquiteturas Lakehouse utilizando as camadas Bronze, Silver e Gold.

Modelar dados dimensionais para análises de custos, consumo, orçamento, tendências e otimização de recursos em nuvem.

Integrar e tratar dados provenientes de serviços de billing, como AWS Cost and Usage Report (CUR), Azure Cost Management e Google Cloud Billing.

Desenvolver regras de normalização de tags, hierarquias de contas e projetos, alocação de custos compartilhados e rateios.

Implementar lógicas de amortização e distribuição de custos relacionados a Reserved Instances e Savings Plans.

Construir e otimizar transformações utilizando Python, PySpark, Spark SQL e Delta Lake.

Desenvolver consultas, tabelas e estruturas analíticas para consumo por Databricks SQL e dashboards em Lakeview.

Implementar mecanismos de qualidade, reconciliação, testes e validação dos dados.

Garantir governança, rastreabilidade e linhagem dos dados, considerando recursos como Unity Catalog.

Participar da evolução dos processos de orquestração, versionamento, testes e CI/CD dos pipelines.

Identificar gargalos de processamento e implementar melhorias de desempenho e custo em ambientes de alto volume.

Trabalhar em conjunto com áreas técnicas, financeiras e de FinOps para transformar necessidades de negócio em soluções de dados confiáveis.

Experiência sólida em Engenharia de Dados em nível sênior.

Domínio de Python, PySpark, Apache Spark e SQL avançado.

Experiência com Databricks e arquitetura Lakehouse.

Conhecimento prático da arquitetura Medallion: Bronze, Silver e Gold.

Experiência com Delta Lake e otimização de tabelas e consultas, incluindo particionamento, Z-Order e/ou Liquid Clustering.

Experiência com construção e manutenção de pipelines de dados de grande volume.

Experiência com modelagem dimensional, especialmente conceitos de Kimball.

Capacidade de estruturar modelos analíticos consistentes para relatórios e tomada de decisão.

Conhecimento de estratégias de transformação, consolidação e disponibilização de dados.

Experiência com dados de billing de pelo menos um dos provedores: AWS, Azure ou GCP.

Conhecimento de estruturas de custos e consumo de serviços de nuvem.

Familiaridade com conceitos de precificação, incluindo On-Demand, Reserved Instances, Savings Plans, Spot, transferência de dados (egress) e camadas de armazenamento.

Capacidade de implementar regras de tratamento, reconciliação, classificação e alocação de custos.

Experiência com ferramentas de orquestração de pipelines, como Databricks Workflows, Lakeflow Pipelines (anteriormente Delta Live Tables/DLT), Airflow ou dbt, ou tecnologias equivalentes.

Experiência com Git, versionamento e práticas de CI/CD aplicadas à engenharia de dados.

Conhecimento de testes automatizados, validação de dados e monitoramento de pipelines.

Familiaridade com práticas de implantação e gerenciamento de artefatos Databricks, como Databricks Asset Bundles, ou soluções equivalentes.

Diferenciais

Conhecimento ou experiência com a especificação FOCUS (FinOps Open Cost and Usage S