Especialista de Engenharia de Dados II
Experian
$0-$0 / yr
Salary
brazil
Region
ASAP
Start Date
About Experian
Experian is a global data and technology company, powering opportunities for people and businesses around the world. We help to redefine lending practices, uncover and prevent fraud, simplify healthcare, create marketing solutions, and gain deeper insights into the automotive market, all using our unique combination of data, analytics and software. We also assist millions of people to realize their financial goals and help them save time and money.
We operate across a range of markets, from financial services to healthcare, automotive, agribusiness, insurance, and many more industry segments.
We invest in people and new advanced technologies to unlock the power of data. As a FTSE 100 Index company listed on the London Stock Exchange (EXPN), we have a team of 22,500 people across 32 countries. Our corporate headquarters are in Dublin, Ireland. Learn more at experianplc.com.
About this Role.
O DataLab é a unidade de pesquisa e inovação do grupo Experian na América Latina junto com a Serasa Experian no Brasil. Temos o objetivo de ser propositivo, antecipando o futuro, e consultivo, identificando oportunidades de evolução no mercado, por meio de técnicas de Inteligência Artificial e Machine Learning combinada com uso de novas fontes de dados.
Criamos soluções inovadoras avançadas, que ajudam clientes e mercado a se prepararem hoje para o amanhã de decisões mais assertivas. Além de termos um olhar 360º para trocar com o que há de melhor no âmbito global, considerando o todo e produzindo soluções capazes de alcançar grande escalabilidade.
Estamos em busca de uma mente analítica e experiente para liderar a evolução da nossa infraestrutura de dados. Você será a peça-chave na construção de arquiteturas escaláveis, garantindo que nossos dados não sejam apenas armazenados, mas transformados em vantagem competitiva.
Principais Responsabilidades
Arquitetura de Data Lake: Desenhar, implementar e sustentar arquiteturas modernas de Data Lake e Lakehouse, garantindo escalabilidade, resiliência e custo-benefício.
Pipeline de Dados (ETL/ELT): Construir e otimizar fluxos de ingestão de dados em tempo real (streaming) e em batch, assegurando a integridade e a baixa latência das informações.
Governança e Qualidade: Estabelecer padrões de Data Quality, linhagem de dados e políticas de segurança/privacidade (LGPD) em todo o ecossistema.
Mentoria Técnica: Atuar como referência para o time, disseminando boas práticas de desenvolvimento (Clean Code, CI/CD) e auxiliando na resolução de problemas complexos.
Otimização de Performance: Identificar gargalos em processamentos de grandes volumes de dados e propor melhorias estruturais para ganho de performance em queries e jobs.
Requisitos e Qualificações
Experiência Comprovada: Mínimo de 7 anos de experiência atuando diretamente em Engenharia de Dados, com histórico em ambientes de alta complexidade e larga escala em ambientes de nuvem (preferencialmente na AWS).
Domínio de Ferramentas: Experiência avançada com Apache Spark (PySpark/Scala) e orquestradores de fluxo (como Airflow, Prefect ou Dagster).
Linguagens de Programação: Fluência em Python ou Scala, além de domínio de SQL para manipulação e análise de dados.
Modelagem de Dados: Conhecimento em técnicas de modelagem dimensional.
Infraestrutura como Código (IaC): Conhecimento em Terraform ou ferramentas similares para provisionamento de recursos de dados.
Mindset Ágil: Familiaridade com metodologias ágeis e cultura DevOps aplicada a dados (DataOps).
Experiência robusta em Engenharia de Dados
Apache Spark
Python ou Scala