[JOB 29729] Engenheiro de Dados Senior (Databricks, PySpark e MongoDB)

Estamos em busca de uma pessoa para atuar como Engenheiro(a) de Dados Sênior em um projeto focado em integração, processamento, modelagem e otimização de dados, com forte utilização de Databricks, PySpark e MongoDB.

O profissional deverá ter perfil hands-on, autonomia técnica, visão crítica e foco em produtividade, qualidade, performance e melhoria contínua. Atuará em squads ágeis, colaborando com equipes técnicas e de negócio para definição, refinamento, desenvolvimento e sustentação de soluções de dados escaláveis.

As principais tecnologias e competências envolvidas são:

* Databricks com PySpark * Spark e Python * MongoDB * Modelagem e manipulação de dados estruturados e semiestruturados * Construção e otimização de pipelines de dados * Integração entre fontes relacionais, não relacionais e ambientes analíticos * Boas práticas de engenharia, versionamento e qualidade de dados * Experiência com metodologias ágeis * Diferencial em uso de IA no desenvolvimento, como GitHub Copilot, prompt engineering e code review automatizado

O profissional deve possuir sólidos conhecimentos em engenharia de dados, lógica de programação, desenvolvimento de pipelines escaláveis, otimização de performance e boas práticas de desenvolvimento, além de colaborar com áreas de negócio e tecnologia para definição, revisão e implementação de regras e soluções de dados.

Responsabilidades:

* Desenvolver, otimizar e manter pipelines de dados utilizando Databricks, Spark e PySpark. * Atuar na integração, extração, transformação e carga de dados provenientes de bases MongoDB. * Trabalhar com dados estruturados, semiestruturados e documentos JSON, garantindo organização, qualidade e consistência das informações. * Desenvolver processos de ingestão, transformação e disponibilização de dados para consumo analítico e operacional. * Construir produtos de dados escaláveis, com foco em performance, confiabilidade e qualidade. * Garantir boas práticas de desenvolvimento, assegurando que as soluções de dados sigam padrões de qualidade, eficiência, escalabilidade e manutenibilidade. * Aplicar boas práticas de versionamento, testes, revisão de código e qualidade de dados. * Apoiar refinamentos técnicos e funcionais, garantindo clareza, viabilidade e aderência das histórias às necessidades do projeto. * Apoiar na construção de histórias de usuário bem definidas, facilitando o desenvolvimento pelos times de engenharia de dados. * Participar do desenho AS-IS e TO-BE, documentando processos atuais e futuros, identificando débitos técnicos, riscos e oportunidades de melhoria. * Desenvolver histórias refinadas e aprovadas, garantindo qualidade, eficiência e aderência aos padrões técnicos. * Colaborar com focais de dados, negócio e tecnologia para garantir que as soluções estejam alinhadas às necessidades do negócio e às melhores práticas de engenharia. * Propor melhorias contínuas nos processos, arquitetura, performance e produtividade do time. * Utilizar, quando aplicável, ferramentas de IA no desenvolvimento, como GitHub Copilot, prompt engineering e code review automatizado, visando ganho de produtividade e qualidade.

Qualificações Necessárias:

Conhecimentos Técnicos:

* Forte experiência com Databricks e PySpark. * Sólido conhecimento em Spark, Python e lógica de programação. * Experiência com MongoDB, incluindo consultas, modelagem de documentos e manipulação de dados em formato JSON. * Experiência na construção de pipelines de dados escaláveis e performáticos. * Conhecimento em integração de dados entre MongoDB e ambientes analíticos. * Capacidade de trabalhar com dados estruturados, semiestruturados e não relacionais. * Domínio de boas práticas de engenharia de dados, versionamento, testes, revisão de código e qualidade de dados. * Experiência em otimização de performance de pipelines e processamento distribuído. * Experiência em squads ágeis e metodologias ágeis. * Capacidade de atuar na identificação de débitos técnicos, melhoria de processos e evolução de soluções existentes. * Diferencial: experiência com uso de IA aplicada ao desenvolvimento, como GitHub Copilot, prompt engineering e code review automatizado.

Qualidades Comportamentais:

* Proatividade para aumentar a capacidade de entrega do time. * Perfil hands-on, com autonomia para conduzir atividades técnicas. * Capacidade analítica para interpretar bases de dados, regras de negócio e propor soluções. * Habilidade de resolução de problemas, identificando causas, riscos e alternativas. * Perfil consultivo, trazendo ideias, soluções e melhorias para o projeto, sem aguardar apenas direcionamentos. * Visão 360º, entendendo o projeto como um todo e avaliando impactos técnicos e de negócio das soluções propostas. * Comunicação assertiva, com clareza, confiança e respeito. * Visão crítica, foco em produtividade e melhoria contínua. * Capacidade de colaboração com times técnicos, áreas de negócio e stakeholders.

Nossos benefícios: - Plano de saúde e odontológico;- Vale alimentação e refeição;- Auxílio-creche;- Licença parental estendida;- Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass) TotalPass;- Participação nos Lucros e Resultados (PLR);- Seguro de Vida;- Plataforma de aprendizagem contínua (CI&T University);- Clube de descontos;- Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar;- Curso gestante e parentalidade responsável;- Parceria com plataformas de cursos online;- Plataforma para aprendizagem de idiomas;- E muitos outros Mais detalhes sobre os nossos benefícios aqui: https://ciandt.com/br/pt-br/carreiras Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante apresentar o seu laudo durante o processo seletivo. Consulte quais dados são necessários conter no laudo clicando aqui.Assim, podemos garantir o suporte e as adaptações que você merece. Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo. Temos um time dedicado de Saúde e Bem-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.