Engenheiro de Dados BBA Sênior

O Engenheiro de Dados Sênior será responsável por projetar, construir, otimizar e sustentar toda a plataforma de dados baseada em Azure Databricks, garantindo qualidade, governança, segurança, performance e escalabilidade. É um papel altamente técnico, com forte atuação em arquitetura, automação, governança e integração entre áreas.

Projetar, implementar e evoluir arquiteturas Lakehouse utilizando o padrão Medallion (Bronze, Silver, Gold) em produção. Definir padrões de modelagem, versionamento e organização de tabelas no Unity Catalog, incluindo permissões, lineage e governança. Documentar arquiteturas, fluxos, padrões e boas práticas de engenharia de dados. Construir pipelines robustos de ingestão, transformação e disponibilização de dados em Python, PySpark e SQL avançado. Desenvolver pipelines em batch e streaming utilizando Databricks Jobs, Workflows, Delta Live Tables / Lakeflow. Implementar processos de reconciliação, checagem e qualidade de dados (DQX) com testes automatizados. Otimizar performance de jobs Spark, particionamento, caching e estratégias de custo. Administrar e operar recursos de dados no Azure Databricks, ADLS, Azure Data Factory, Azure DevOps, Azure Functions, Synapse Analytics, entre outros. Abrir, acompanhar e detalhar incidentes na Azure (inglês intermediário). Monitorar, observar e tratar falhas em pipelines, garantindo confiabilidade e SLA. Configurar permissões, acessos e governança via Unity Catalog. Garantir segurança, integridade e conformidade dos dados (incluindo LGPD). Implementar padrões de auditoria, lineage e rastreabilidade. Criar testes automatizados de qualidade, reconciliação e validação de dados. Utilizar ferramentas como DQX Databricks para monitoramento contínuo. Realizar data profiling, verificação de integridade e consistência. Versionar código com Git e implementar pipelines de CI/CD em Azure DevOps. Automatizar deploys de notebooks, workflows, bundles e artefatos Databricks. Implementar Asset Bundles para empacotamento e promoção entre ambientes. Trabalhar em conjunto com times de Analytics, Ciência de Dados, Engenharia de Software e Arquitetura. Apoiar equipes menos experientes, promovendo boas práticas de engenharia. Traduzir necessidades de negócio em soluções escaláveis e eficientes.Obrigatórios: Python - PySpark Azure Databricks e Delta Lake: jobs, workflows e arquitetura medalhão (bronze, silver, gold) em produção; Delta Live Tables / Lakeflow, Unit Catalog (permissões) e Asset Bundles; Microsoft Azure Cloud SQL avançado Git e CI/CD pipelines (Azure DevOps) Inglês Intermediário (Abrir incidentes na Azure) Qualidade e reconciliação de dados: testes automatizados, DQX Databricks

Diferenciais/desejável: Conhecimento em AWS Azure Kubernetes Service (AKS) Noções de IA na cloud Certificações Databricks (Data Engineer Associate / Professional).