Data Engineer | specialist (Remote)

.

Responsabilidades e atribuiçõesDefinir e implementar soluções de Inteligência Artificial aplicadas à modernização de dados e sistemas legados.Desenvolver mecanismos para análise, interpretação e extração de

informações técnicas de artefatos legados.Construir soluções baseadas em IA Generativa para acelerar processos de documentação, transformação e migração.Criar modelos intermediários de metadados para representar fluxos, regras de negócio, dependências, entidades e transformações.Desenvolver aceleradores e componentes reutilizáveis aderentes à arquitetura corporativa de dados.Apoiar a definição de templates, padrões técnicos e estruturas declarativas para pipelines modernas.Desenvolver e evoluir pipelines utilizando Databricks, PySpark, Lakeflow Jobs e Declarative Pipelines.Trabalhar com cargas batch, ingestões incrementais, CDC (Change Data Capture) e integrações corporativas.Apoiar a evolução da governança, rastreabilidade e qualidade dos dados durante o processo de migração.Atuar em conjunto com arquitetos, engenheiros de dados e especialistas de plataforma na definição de soluções escaláveis e seguras.

Requisitos e qualificaçõesExperiência com Inteligência Artificial aplicada à Engenharia de Dados, Engenharia de Software ou Automação Técnica.Conhecimento prático em IA Generativa e Large Language Models (LLMs).Experiência com:Agentes de IARAG (Retrieval-Augmented Generation)Prompt EngineeringFunction CallingTool UseWorkflows automatizadosExperiência com frameworks de orquestração de IA:LangChainLangGraphSemantic KernelCrewAIOu frameworks equivalentesExperiência com Python.Experiência com PySpark e Spark SQL.Desenvolvimento de pipelines de dados em ambientes distribuídos.Conhecimento em SQL avançado.Conhecimento em XML, JSON e YAML.Experiência com modelagem de dados e Data Warehouse.Vivência com ambientes Databricks.