Especialista Cloudera Sênior (Big Data e Google Cloud)

Requisitos 6+ anos de experiência na carreira Cloudera Google Cloud Conhecimentos Desejáveis Big Data Tarefas e Responsabilidades SOBRE A VAGA Buscamos um profissional para atuar como Especialista Cloudera Sênior em um projeto estratégico de migração de plataforma de dados de uma grande instituição financeira. O desafio envolve a migração do ambiente Cloudera na AWS para o Google Cloud, com aproximadamente 13 mil jobs Spark e PySpark e 2,5 PB de dados. O profissional será a referência técnica do ambiente legado, contribuindo para preservar o comportamento dos componentes durante a migração. Vaga também aberta a pessoas com deficiência. RESPONSABILIDADES DA VAGA Analisar o ambiente Cloudera CDP, seus serviços, configurações, dependências e jobs em produção. Apoiar o levantamento do inventário e das dependências entre origens, jobs, tabelas e consumidores. Mapear recursos do Cloudera e indicar equivalências ou adequações necessárias no Google Cloud. Apoiar a migração de Spark, Hive, Impala, Kudu, HBase, Kafka e NiFi, incluindo versões legadas de Spark. Investigar diferenças entre os ambientes de origem e destino e identificar suas causas. Apoiar a migração de políticas de segurança e governança, incluindo Ranger, Atlas e Kerberos. Colaborar com especialistas do cliente no entendimento dos frameworks proprietários sobre o Cloudera. Documentar o conhecimento do ambiente legado para os times de engenharia. REQUISITOS Ensino superior completo em Tecnologia, Engenharia ou áreas correlatas. Mínimo de 6 anos de experiência com o ecossistema Hadoop, sendo pelo menos 4 anos com Cloudera CDH ou CDP. Experiência mínima de 1 ano com Google Cloud em projetos ou ambientes de dados. Disponibilidade para atuação 100% presencial em São Paulo e em janelas de implantação.

COMPETÊNCIAS COMPORTAMENTAIS Didática para explicar o ambiente legado a times e especialistas de diferentes níveis. Capacidade de investigar problemas de forma estruturada, com foco na causa raiz. Colaboração próxima com os especialistas do cliente. Organização na documentação e no compartilhamento do conhecimento técnico. COMPETÊNCIAS TÉCNICAS Experiência com Cloudera CDH ou CDP em produção e com o ecossistema Hadoop. Domínio de Spark, PySpark, Hive e Impala em ambientes de produção de grande porte. Experiência com Kudu, HBase, Kafka ou NiFi. Conhecimento de segurança e governança no Cloudera: Ranger, Atlas e Kerberos. Experiência com Google Cloud: Dataproc, BigQuery e Cloud Storage. São diferenciais: experiência em migração de Cloudera ou Hadoop para nuvem; certificação Cloudera ou Google Cloud; experiência com Cloudera Data Engineering (CDE), Airflow, Apache Flink e CDC (Debezium); e atuação em instituições financeiras. MODELO DE TRABALHO Contratação: CLT + benefícios. Salário: negociável. Formato: 100% presencial. Local: instituição financeira na Avenida Paulista, São Paulo/SP.