Especialista Databricks Unity Catalog

Requisitos 6+ anos de experiência na carreira Python / PySpark Proteção de dados sensíveis SQL avançado Databricks Unity Catalog Terraform aplicado ao Databricks LGPD LGPD e Governança de Dados Conhecimentos Desejáveis System Tables SCIM / SSO Lakeflow / DLT Lakehouse Monitoring ABAC Row Filters Column Masks Tarefas e Responsabilidades Missão do Cargo Atuar na estruturação, implantação e evolução da governança da plataforma Databricks em AWS, com foco em Unity Catalog. Contribuir para a definição de arquiteturas de catálogos, modelos de acesso, segurança, proteção de dados sensíveis, linhagem e qualidade dos dados, além de automatizar configurações e promover a autonomia do time interno por meio de documentação e transferência de conhecimento. Modelo: Remoto Contratação: PJ ou Cooperado Duração inicial: 3 meses, com possibilidade de extensão Principais Responsabilidades Avaliar o ambiente atual de Databricks, incluindo workspaces, metastore, Hive Metastore legado e permissões . Elaborar diagnóstico do ambiente e plano de ação. Desenhar a hierarquia de catálogos e schemas por domínio, ambiente e camada de dados. Definir padrões de nomenclatura e organização dos dados . Estruturar o modelo de acessos, permissões e privilégio mínimo . Configurar storage credentials, external locations e managed storage em S3. Trabalhar com IAM Roles, Trust Policies e integração de identidade . Apoiar a configuração de catalog binding entre workspaces . Conduzir ou apoiar a migração do Hive Metastore para o Unity Catalog . Implementar mecanismos de proteção para dados sensíveis , como CPF, CNPJ e dados de crédito. Trabalhar com tags, column masks, row filters e políticas ABAC . Habilitar e configurar recursos de linhagem, auditoria e descoberta de dados . Apoiar a implantação de controles de qualidade de dados . Automatizar configurações utilizando Terraform . Garantir o versionamento e a documentação das configurações. Elaborar playbooks, runbooks e documentação de boas práticas . Realizar passagem de conhecimento para o time interno e DataOps. Apoiar a autonomia do time interno ao final do projeto. Databricks e Unity Catalog Experiência prática com Databricks em ambientes produtivos. Experiência com implantação e administração do Unity Catalog . Estruturação de catalogs, schemas e objetos de dados . Definição de modelos de acesso e permissões. Experiência com ownership por grupos e service principals . Experiência com privilege management e least privilege . Experiência com managed tables e external tables . Experiência com Hive Metastore e migração para Unity Catalog . Conhecimento de UCX, SYNC e CTAS . Experiência com data lineage e recursos de auditoria . AWS e Infraestrutura Experiência com Databricks em AWS . Conhecimento de Amazon S3 . Experiência com AWS IAM, IAM Roles e Trust Policies . Conhecimento de SCIM e SSO . Experiência com Storage Credentials e External Locations . Conhecimento de integração entre Databricks e recursos da AWS. Experiência com Terraform aplicado ao Databricks . Conhecimento de versionamento e automação de infraestrutura. Dados, Segurança e Governança Conhecimento de SQL avançado . Experiência com Python e PySpark . Conhecimento de Delta Lake . Experiência com proteção de dados sensíveis e pessoais . Conhecimento de LGPD e governança de dados . Experiência com Column Masks e Row Filters . Conhecimento de Tags e políticas ABAC . Experiência com Data Lineage . Conhecimento de System Tables, auditoria e monitoramento . Experiência com governança em ambientes regulados ou com dados sensíveis . Conhecimento de qualidade e descoberta de dados . Qualidade de Dados Apoiar a implantação de controles de qualidade sobre os ativos catalogados. Conhecimento de Lakeflow/DLT e Expectations . Conhecimento de Lakehouse Monitoring . Conhecimento de ferramentas de Data Quality Monitoring . Apoiar a integração entre governança e qualidade de dados