GCP Data Engineer| Senior (Remote)

.

Responsabilidades e atribuiçõesDesenvolver e manter pipelines de dados batch e streaming em ambiente Google Cloud Platform (GCP);Construir fluxos de ingestão e transformação utilizando Dataflow e Apache Beam;Integrar dados provenientes de diferentes fontes, incluindo Oracle, SQL Server, MySQL, ambientes on-premise e buckets externos;Trabalhar com BigQuery para processamento, transformação e otimização de dados;Organizar e estruturar dados em Cloud Storage seguindo arquitetura de Data Lake (Raw, Bronze, Silver e Gold);Orquestrar workflows e pipelines utilizando Cloud Composer (Airflow);Desenvolver processos de ETL/ELT e transformações analíticas utilizando SQL;Desenvolver automações e integrações de dados utilizando Python;Garantir a qualidade e confiabilidade dos dados processados;Apoiar iniciativas de migração de relatórios e ativos analíticos para uma nova plataforma de Data Visualization;Atuar em conjunto com times de Engenharia, Analytics, Ciência de Dados e áreas de negócio.

Requisitos e qualificaçõesExperiência com Google Cloud Platform (GCP);Conhecimento em BigQuery;Experiência com Dataflow e Apache Beam;Experiência com Cloud Storage e Pub/Sub;Vivência com Cloud Composer (Airflow) ou ferramentas equivalentes de orquestração;Conhecimento em Python para desenvolvimento de pipelines e processos ETL/ELT;SQL avançado para transformação e manipulação de dados;Experiência com integração de dados em bancos relacionais

como Oracle, SQL Server e MySQL;Conhecimento em arquitetura de Data Lake (Raw, Bronze, Silver e Gold);Experiência na construção e manutenção de pipelines de dados; Diferencial:Conhecimento em Dataform, dbt ou ferramentas similares;Experiência com processamento de dados em streaming;Conhecimento de boas práticas de qualidade e governança de dados;Experiência em projetos de migração de BI, Analytics ou Data Visualization;Conhecimento em otimização de performance e custos em ambientes GCP.