Engenheiro de Dados

? · Híbrido · São Paulo, SP

Recebendo candidaturas · conferida em 29/10

Ficha da vaga

Modelo
Híbrido
Onde aceita
Aceita candidatos do Brasil
Senioridade
Júnior
Salário
Salário não divulgado

Fonte: Empregos.com · Ver vaga original →

  • python
  • sql
  • git github
  • docker
  • kubernetes

Organizei a descrição em seções com IA. O texto completo da vaga está logo abaixo.

Sobre a vaga

A CRP Tech busca um(a) Engenheiro(a) de Dados com pelo menos 3 anos de experiência para atuar na construção e sustentação de pipelines ETL/ELT, modelagem de dados e orquestração.

O que você vai fazer

  • Construção e sustentação de pipelines ETL/ELT em produção, do design à operação.

O que pedem

  • Diploma, devidamente registrado, de curso de nível superior de graduação na área de Tecnologia da Informação ou graduação em qualquer área acrescido de certificado de pós-graduação em área de Tecnologia da Informação de, no mínimo, 360 horas
  • Experiência mínima comprovada de 03 anos atuando como Engenheiro(a) de Dados (ou no mínimo 02 anos em nível pleno, com entrega ponta a ponta de pipelines em produção)
  • Experiência comprovada na construção e sustentação de pipelines ETL/ELT em produção, do design à operação
  • Vivência com volumes relevantes de dados (batch e/ou incremental) e com reprocessamento seguro
  • Sólida proficiência em Python para engenharia de dados

Descrição completa da vaga

Deseja trabalhar em uma empresa que respira tecnologia, oferece novos desafios e um ambiente de trabalho de constante desenvolvimento profissional?Confira o perfil abaixo e candidate-se!Formação: Diploma, devidamente registrado, de curso de nível superior de graduação na área de Tecnologia da Informação (Ciência da Computação, Engenharia de Software, Sistemas de Informação, Engenharia da Computação ou correlatos) ou de graduação em qualquer área acrescido de certificado de pós-graduação em área de Tecnologia da Informação de, no mínimo, 360 (trezentos e sessenta) horas, fornecido por instituição reconhecida pelo Ministério da Educação (MEC).Experiência:Experiência mínima comprovada de 03 (três) anos atuando como Engenheiro(a) de Dados (ou no mínimo 02 anos em nível pleno, com entrega ponta a ponta de pipelines em produção).Experiência comprovada na construção e sustentação de pipelines ETL/ELT em produção, do design à operação.Vivência com volumes relevantes de dados (batch e/ou incremental) e com reprocessamento seguro.Desejável portfólio (GitHub, projetos pessoais ou contribuições open source) que demonstre a habilidade de resolver problemas reais de dadosConhecimentos Técnicos:Sólida proficiência em Python para engenharia de dados (boas práticas, OOP, organização de código, tratamento de erros, testes).Experiência na criação e empacotamento de bibliotecas Python próprias (wheels), promovendo reuso, padronização e versionamento de código entre pipelines.Domínio de SQL avançado (consultas, joins, CTEs, window functions, tuning) e modelagem de dados (normalizada e dimensional).Experiência com ETL/ELT, incluindo ingestão de múltiplas fontes e carga em bancos de dados relacionais (PostgreSQL, SQL Server, MySQL, Oracle ou similares) e não relacionais (MongoDB e afins).Experiência com armazenamento em arquivos Parquet e conceitos de Data Lake / Data Lakehouse (camadas Bronze/Silver/Gold ou Medallion).Experiência com orquestração de pipelines no Apache Airflow (criação de DAGs, agendamento, dependências, retentativas e tratamento de falhas).Experiência prática com Docker (build de imagens, Dockerfiles, ambientes reproduzíveis) e operação em Kubernetes (deploy, jobs, configmaps/secrets, monitoramento de workloads).Familiaridade com MinIO (armazenamento de objetos compatível com S3) como camada de Data Lake.Conhecimento no uso de Dremio (ou motor de consulta equivalente como Trino/Athena) como camada semântica/consulta sobre o Data Lake.Experiência com Git/versionamento e práticas de CI/CD aplicadas a projetos de dados.Sólido entendimento de qualidade de dados, observabilidade e monitoramento de pipelines (validação, alertas, métricas, reprocessamento).Conhecimentos em intetração de ferramentas de IA para alta produtividade. (Harness).Conhecimentos Desejáveis/DiferenciaisNão esperamos que você já domine tudo isso, mas buscamos alguém com grande interesse em se aprofundar:Apache Iceberg (ou Delta Lake/Hudi) como formato de tabela aberta sobre o Data Lake.dbt para modelagem e transformação de dados na camada analítica.Orquestração e automação avançadas: Helm, Argo CD, GitHub Actions/GitLab CI para deploy em múltiplos clusters Kubernetes.Nessie (catálogo com branching/tagging) e gestão de múltiplos ambientes (dev/test/prod).Streaming e ingestão em tempo real: Apache Kafka (modo KRaft), Debezium/CDC.Processamento distribuído em larga escala: Apache Spark / PySpark.Ferramentas de qualidade e catálogo de dados: Great Expectations, Soda, OpenMetadata, DataHub, OpenLineage.Observabilidade: Prometheus, Grafana e OpenTelemetry aplicados a workloads de dados.Stack de frontend/BI para visualização (Streamlit, Dash, React, Power BI, Apache Superset ou similares) e experiência na construção de dashboards e APIs de consumo.Infraestrutura como código: Terraform / Ansible.Conhecimentos de MLOps / IA aplicada (feature stores, pipelines para IA, LLMs) como apoio às frentes de dados e analytics avançado.Experiência em ambientes on-premise/híbridos e em

Perguntas e respostas sobre a vaga

Aceita candidatos de onde?
Aceita candidatos do Brasil.
Qual o regime de contratação?
A vaga não diz.
É remota?
Não, é híbrida.
Informa salário?
Não, a vaga não divulga.

Nenhuma vaga séria cobra para você se candidatar, e eu nunca peço dado bancário dentro de uma candidatura. O plano pago é cobrado só pelo Asaas, meu parceiro de pagamento.

Vagas parecidas

Candidatar com o aplica.ai

Leva 2 minutos, só o CV.