Engenheiro de Dados SR (Integração SAP)

Você é apaixonado(a) por tecnologia e inovação?

💡 No Grupo SysMap – que reúne SysMap Solutions, TriggoLabs e – acreditamos que grandes resultados nascem de pessoas incríveis.

Somos uma empresa brasileira de tecnologia que, desde 1999, ajuda organizações a superar desafios complexos e acelerar sua transformação digital.

Nossa atuação abrange diversos segmentos, como Telecom, Varejo, Educação, Financeiro, Indústria/Cosméticos e Energia, sempre com foco em soluções inovadoras e de alto impacto.

👉 Candidate-se agora e construa o futuro da tecnologia conosco!

Missão do Cargo

Atuar na arquitetura, no desenvolvimento e na implementação de soluções avançadas de Engenharia de Dados, com forte domínio em Databricks e integração de dados provenientes do ecossistema SAP. Será responsável por construir e otimizar pipelines de dados, implementar arquiteturas Lakehouse, desenvolver processos de ETL/ELT e garantir a qualidade, a escalabilidade, a governança e a disponibilidade das informações para ambientes analíticos e estratégicos.

Principais Responsabilidades

- Projetar, desenvolver e manter pipelines de dados utilizando Databricks, garantindo eficiência, escalabilidade e performance no processamento de grandes volumes de informações;

- Desenvolver processos de ingestão, transformação e processamento de dados utilizando Apache Spark, PySpark e SQL;

- Implementar arquiteturas Lakehouse e Medallion (Bronze, Silver e Gold), estruturando fluxos de dados desde a ingestão até a disponibilização para consumo analítico;

- Trabalhar com Delta Lake, Delta Tables e recursos avançados do Databricks para armazenamento, versionamento, otimização e gerenciamento de dados;

- Desenvolver e otimizar processos de ETL/ELT, integrando diferentes fontes de dados, especialmente sistemas SAP;

- Atuar na extração, integração e transformação de dados provenientes do SAP S/4HANA, SAP ECC e demais soluções do ecossistema SAP;

- Implementar integrações entre SAP e Databricks utilizando APIs, OData, conectores e mecanismos de ingestão de dados;

- Desenvolver soluções de processamento em batch e streaming, conforme as necessidades dos projetos;

- Implementar boas práticas de governança, qualidade, segurança, linhagem e monitoramento de dados, incluindo recursos do Unity Catalog;

- Realizar otimizações de performance em consultas SQL, jobs e workflows no ambiente Databricks;

- Atuar na automação e orquestração de pipelines, garantindo a confiabilidade e a disponibilidade dos processos;

- Trabalhar em conjunto com equipes de Arquitetura, BI, Analytics e áreas de negócio na construção de soluções orientadas a dados.

Requisitos Técnicos

- Experiência sólida em Engenharia de Dados, com atuação em projetos de arquitetura e processamento de grandes volumes de dados;

- Experiência avançada e prática com Databricks, incluindo desenvolvimento, implementação e otimização de pipelines de dados;

- Domínio de Apache Spark, PySpark e Spark SQL;

- Conhecimento avançado em Delta Lake, Delta Tables e arquitetura Lakehouse;

- Experiência com arquitetura Medallion (Bronze, Silver e Gold);

- Conhecimento em Databricks Workflows, Jobs e recursos de orquestração;

- Experiência com Unity Catalog, governança, controle de acesso e linhagem de dados;

- Domínio de SQL e Python aplicados à Engenharia de Dados;

- Experiência em processos de ETL/ELT e integração de múltiplas fontes de dados;

- Conhecimento do ecossistema SAP, especialmente SAP S/4HANA e/ou SAP ECC;

- Experiência com extração e integração de dados SAP por meio de APIs, OData, RFC, IDoc ou outros mecanismos;

- Conhecimento em SAP Datasphere, SAP BW/4HANA ou SAP Data Services;

- Vivência com ambientes em nuvem, preferencialmente AWS, Azure ou Google Cloud.

Vamos gostar muito se, além disso tudo, você tiver:

- Certificação Databricks Data Engineer Associate ou Professional;

- Experiência com Delta Live Tables/Lakeflow Declarative Pipelines;

- Conhecimento em CI/CD, Git e automação de deploy de pipelines;

- Experiência com processamento de dados em tempo real (streaming);

- Conhecimento em SAP BTP e SAP Integration Suite;

- Experiência com arquiteturas de dados modernas e ambientes corporativos de grande porte.

Originally posted on Himalayas