Especialista de Engenharia de Dados Sênior

Requisitos 8+ anos de experiência na carreira Apache Spark (Pyspark) dataproc SQL engenharia de dados tech lead Conhecimentos Desejáveis APIs de IA generativa kafka / RabbitMQ / SQS Google Cloud Platform (GCP) Tarefas e Responsabilidades ESPECIALISTA DE ENGENHARIA DE DADOS SÊNIOR — GOOGLE CLOUD SOBRE A VAGA Buscamos um profissional para atuar como Tech Lead em um projeto estratégico de migração de plataforma de dados de uma grande instituição financeira. O desafio envolve a migração do ambiente Cloudera na AWS para o Google Cloud, com aproximadamente 13 mil jobs Spark e PySpark e 2,5 PB de dados. A posição terá papel central na liderança técnica dos times e na qualidade das entregas. Vaga também aberta a pessoas com deficiência. RESPONSABILIDADES DA VAGA Liderar tecnicamente os times de engenharia, distribuir atividades e revisar entregas. Conduzir a migração e implantação de jobs Spark e PySpark, consultas SQL de Hive e Impala e fluxos de streaming no Google Cloud. Utilizar aceleradores de conversão assistida por IA, testes de paridade e validação de evidências. Garantir a consistência entre os ambientes de origem e destino, conduzindo reprocessamentos quando necessário. Resolver desafios técnicos complexos e apoiar a adaptação dos frameworks do cliente. Definir padrões de código, revisão em pares e esteiras de CI/CD. Facilitar a comunicação entre as áreas de negócio e engenharia. Apoiar o planejamento, as estimativas e o acompanhamento das ondas de migração. REQUISITOS Ensino superior completo em Tecnologia, Engenharia ou áreas correlatas. Mínimo de 8 anos de experiência em engenharia de dados. Pelo menos 3 anos de atuação como Tech Lead ou líder técnico. Experiência mínima de 3 anos com Google Cloud. Experiência em projetos de migração de dados ou plataformas de dados. Disponibilidade para atuação 100% presencial em São Paulo. COMPETÊNCIAS COMPORTAMENTAIS Liderança pelo exemplo e disposição para solucionar desafios complexos. Organização e capacidade de priorizar demandas de vários times. Comunicação clara com equipes técnicas e áreas de negócio. Compromisso com a qualidade e responsabilidade pelas entregas em produção. Equilíbrio e foco para atuar sob pressão e em janelas de implantação. COMPETÊNCIAS TÉCNICAS Domínio de Spark, PySpark e SQL avançado. Experiência com Google Cloud: Dataproc, BigQuery, Cloud Storage e Composer. Conhecimento do ecossistema Hadoop: Hive, Impala e HDFS, preferencialmente em Cloudera. Experiência com Git e esteiras de CI/CD, como GitLab CI ou similares. São diferenciais: certificação Google Cloud Professional Data Engineer; experiência com IA generativa aplicada à conversão ou geração de código; Kafka, Flink, CDC e Apache Iceberg; e atuação em instituições financeiras. MODELO DE TRABALHO Contratação: CLT + diversos benefícios. Salário: negociável. Formato: 100% presencial. Local: Avenida Paulista, São Paulo/SP.