Engenheiro(a) de Dados Pleno

Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar no desenvolvimento e evolução de soluções de Engenharia de Dados no ecossistema Google Cloud Platform (GCP).

A pessoa será responsável por atuar de ponta a ponta no ciclo de dados, desde a ingestão e processamento até a transformação, modelagem e disponibilização das informações para consumo.

O desafio envolve construir e manter pipelines de dados confiáveis, desenvolver transformações utilizando BigQuery e Dataform ou dbt, automatizar processos com Python e contribuir para a qualidade, governança e organização dos dados.

Além das atividades de engenharia, poderá apoiar as parametrizações iniciais da solução, contribuindo com a gestão de usuários, acessos, documentação operacional e relacionamento com áreas de negócio.

Responsabilidades e Atribuições:

Desenvolver e manter pipelines de dados de ponta a ponta, contemplando ingestão, processamento, transformação, modelagem e disponibilização.

Construir consultas e transformações utilizando SQL avançado e BigQuery.

Desenvolver e manter modelos de dados utilizando Dataform ou dbt.

Criar rotinas de ingestão e automação utilizando Python, incluindo implementação de testes automatizados.

Desenvolver e acompanhar fluxos de processamento e orquestração utilizando Apache Airflow, preferencialmente Cloud Composer.

Integrar e utilizar serviços da Google Cloud Platform, incluindo Cloud Storage, Cloud Functions e IAM.

Implementar práticas de qualidade de dados, validação, testes e monitoramento dos processos.

Trabalhar com versionamento de código utilizando Git e fluxos de Pull Requests.

Apoiar a organização e disponibilização dos dados para as camadas de consumo e ferramentas analíticas.

Apoiar, quando necessário, as parametrizações iniciais da solução, incluindo gestão de usuários e acessos.

Documentar procedimentos operacionais e manter runbooks atualizados.

Interagir com áreas de negócio para compreender necessidades e apoiar a evolução das soluções de dados.

Experiência em Engenharia de Dados, atuando de ponta a ponta, desde a ingestão até a camada de consumo.

Conhecimento avançado de SQL e experiência com BigQuery.

Experiência com transformação e modelagem de dados utilizando Dataform ou dbt.

Conhecimento de Python aplicado à ingestão de dados e automação de processos.

Experiência com desenvolvimento de testes automatizados.

Conhecimento de Apache Airflow, preferencialmente utilizando Cloud Composer.

Experiência com serviços da Google Cloud Platform, especialmente Cloud Storage, Cloud Functions e IAM.

Conhecimento de práticas de qualidade de dados e validação de pipelines.

Experiência com versionamento de código utilizando Git e fluxo de Pull Requests.

Diferenciais:

Experiência com Apache Superset.

Conhecimento ou experiência com implementação de Row Level Security (RLS).

Experiência com controle de acesso e segregação de dados por cliente.

Conhecimento em gestão de usuários e acessos, incluindo SSO e MFA.

Disciplina para seguir procedimentos operacionais e manter runbooks atualizados.

Boa comunicação e interação com áreas de negócio.

Interesse e iniciativa para identificar e automatizar atividades operacionais.