Engenheiro de Dados SR

Descrição do Cargo

Principais responsabilidades

Desenvolver, manter e otimizar pipelines de dados para ingestão, processamento, transformação e disponibilização de informações.

Desenvolver consultas e scripts SQL avançados para transformação, consolidação e processamento de grandes volumes de dados no Google BigQuery.

Construir e manter tabelas analíticas, estruturando dados de diferentes fontes para consumo por aplicações e sistemas internos.

Desenvolver processos automatizados de carga e atualização de dados, incluindo rotinas incrementais, cargas históricas e reprocessamentos.

Implementar e manter fluxos de processamento e dependências utilizando ferramentas de orquestração, como Apache Airflow.

Desenvolver scripts em Python para automação de rotinas, integração entre sistemas e processamento de dados.

Integrar diferentes fontes de dados, garantindo consistência, integridade e padronização das informações.

Implementar mecanismos de validação, testes e monitoramento para identificar falhas, inconsistências e atrasos no processamento.

Investigar e corrigir problemas relacionados à execução de pipelines, divergências de dados e falhas de integração.

Otimizar consultas, estruturas de tabelas e processos de processamento, buscando melhorar desempenho e reduzir custos computacionais.

Aplicar boas práticas de particionamento, clusterização, versionamento de código e organização dos ativos de dados.

Desenvolver documentação técnica dos pipelines, tabelas, regras de transformação e dependências entre processos.

Contribuir para a evolução da arquitetura de dados, identificando oportunidades de automação, padronização e melhoria contínua.

Garantir a confiabilidade e a disponibilidade dos dados utilizados pelos sistemas e processos da companhia.

Requisitos técnicos

Experiência sólida em Engenharia de Dados e desenvolvimento de pipelines em ambientes produtivos.

Domínio de SQL avançado e experiência com Google BigQuery.

Experiência com Python aplicado à automação e ao processamento de dados.

Experiência com ferramentas de orquestração, preferencialmente Apache Airflow.

Conhecimento de modelagem de dados e estruturação de tabelas analíticas.

Experiência com processos ETL/ELT, cargas incrementais e reprocessamento de dados.

Conhecimento de otimização de consultas, particionamento, clusterização e controle de custos.

Experiência com versionamento de código utilizando Git.

Conhecimento de testes, validação, monitoramento e tratamento de falhas em pipelines.

Capacidade de investigar problemas técnicos e implementar soluções robustas e escaláveis.

Diferenciais

Experiência com ambientes de dados em nuvem, especialmente Google Cloud Platform.

Conhecimento de integração de APIs e ingestão de dados de plataformas externas.

Experiência com grandes volumes de dados e processamento de eventos.

Conhecimento de práticas de CI/CD e DataOps.

Experiência com governança, catálogo e documentação de ativos de dados.

Modelo de Trabalho

Adotamos o modelo híbrido de trabalho

‘’Se você busca um ambiente de crescimento e desafios, Vem ser feliz !"

Nossos valores nos unem e nossas diferenças nos potencializam como um grupo. Mais do que igualdade, buscamos equidade: Aqui, temos espaço para sermos autênticos, independentemente de gênero, etnia, raça, orientação sexual, clero ou deficiência.