Senior Data Platform Engineering

Requisitos 5+ anos de experiência na carreira Inglês avançado Kafka Connect Tarefas e Responsabilidades A Randstad, em parceria com uma multinacional líder global no setor de inteligência de dados e infraestrutura, está buscando um Senior Data Platform Engineer para atuar na construção e evolução do Common Data Backbone (CDB) — uma plataforma estratégica para integração, governança e descoberta de dados em escala global. Sobre a Oportunidade O CDB conecta múltiplos serviços de nuvem e aplicações finais utilizando Apache Kafka para orquestração de eventos e serviços de integração. Você fortalecerá o time expandindo a infraestrutura Kafka e a implementação do Databricks na AWS, com foco em segurança de clusters, gerenciamento de ciclo de vida, tuning de performance, pipelines Databricks e engenharia de confiabilidade (SRE) em padrões enterprise. O Que Você Fará Projetar, implantar e manter clusters Kafka altamente disponíveis e seguros na AWS (MSK ou self-managed). Realizar planejamento de capacidade, ajuste de performance e dimensionamento proativo. Automatizar infraestrutura e configurações utilizando Terraform e princípios de GitOps. Gerenciar e otimizar workspaces, clusters, jobs e pipelines de streaming do Databricks na AWS. Implementar observabilidade com métricas, painéis em Grafana e alarmes no CloudWatch. Desenvolver runbooks para resposta a incidentes, recuperação de desastres e rolling upgrades . Garantir conformidade com requisitos de segurança e auditoria (ISO27001). Colaborar com times de desenvolvimento fornecendo boas práticas de Kafka para microsserviços em .NET e jobs de streaming no Databricks. Conduzir testes de resiliência e manter estratégias documentadas de RPO/RTO. Promover melhoria contínua em otimização de custos, confiabilidade e maturidade operacional. O Que Buscamos Experiência: 5+ anos em engenharia de plataforma de dados, nuvem, SRE, DevOps ou infraestrutura, incluindo ao menos 3 anos de prática operando Kafka em produção. Kafka: Domínio dos conceitos internos do ecossistema (partições, replicação, ISR, controller quorum, KRaft). AWS: Conhecimento avançado em VPC, EC2, MSK, IAM, Secrets Manager e redes. Streaming & Integração: Familiaridade com Databricks Structured Streaming e Kafka Connect. Segurança & IaC: Experiência comprovada com TLS/mTLS, SASL/SCRAM, ACLs, design seguro de clusters e Infraestrutura como Código (Terraform preferencialmente). CI/CD & Observabilidade: Experiência com pipelines de CI/CD para tópicos/clusters e monitoramento via Grafana, CloudWatch e agregação de logs. Automação: Fortes habilidades de scripting (Bash, Python) para automação e criação de ferramentas internas. Idioma: Inglês avançado/fluente para comunicação oral e escrita ( Upper-Intermediate ou superior). Diferenciais Certificações em Nuvem (preferencialmente AWS). Conhecimento em Schema Registry (Protobuf) e governança de schemas. Experiência prévia com processamento de dados geoespaciais. Por Que Se Juntar ao Time? Ecossistema Internacional: Atuação em projetos de escala global com impacto direto em infraestrutura segura e sustentabilidade ambiental. Cultura de Autonomia: Ambiente colaborativo que equilibra a flexibilidade do trabalho remoto com momentos de conexão do time, baseado em confiança e responsabilidade. Crescimento Acelerado: Liberdade para tomar iniciativas, propor soluções inovadoras e evoluir em uma estrutura global.