Engenheiro(a) de Dados Pleno

Estamos em busca de um(a) Engenheiro (a) de Dados Pleno com experiência em Databricks e Apache Spark para atuar no desenvolvimento e evolução de pipelines de dados , trabalhando com grandes volumes de informações e ambientes distribuídos.Principais responsabilidadesDesenvolver e manter pipelines de dados utilizando Databricks e Spark;Realizar ingestão, transformação e processamento de dados ;Trabalhar com diferentes fontes e formatos de arquivos;Aplicar boas práticas de modelagem e manipulação de dados ;Contribuir para a otimização de processos e performance dos workloads de dados .Requisitos obrigatóriosExperiência prática com Databricks e Apache Spark;Sólidos conhecimentos de SQL, incluindo Window Functions;Conhecimento de modelagem e manipulação de dados ;Experiência com processamento distribuído e Cluster Computing;Conhecimento de conceitos de performance do Spark, como Shuffle, Narrow/Wide Transformations, Column Pruning e Predicate Pushdown;Experiência com Delta Lake, incluindo versionamento e Time Travel;Conhecimento dos formatos Parquet e Avro;Experiência com leitura e gravação de dados em diferentes formatos.DiferenciaisExperiência com Azure Data Factory;Vivência em ambientes Lakehouse e Azure Data Lake;Conhecimento em otimização de workloads Spark;Experiência com grandes volumes de dados ;Conhecimento em streaming de dados ;Experiência com CI/CD para pipelines de dados . Tem interesseCandidate-se a nossa vaga que teremos o grande prazer de dividir essa experiência com você.“Grandes coisas em termos de negócios nunca são feitas por uma pessoa. São feitas por uma equipe de pessoas"