Data Engineer (Databricks) | SR

.

- Atuar na definição e evolução de arquiteturas de dados utilizando Databricks, garantindo a otimização de pipelines, a eficiência do processamento e a resolução de problemas técnicos de alta complexidade.

- Contrução e manutenção de pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance.

- Trabalhar com Apache Spark, Airflow, Kafka, dbt, além de bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra) e plataformas cloud (Databricks, AWS Glue, BigQuery).

- Projetar, definir e implementar arquiteturas de dados escaláveis, utilizando o modelo Lakehouse e a arquitetura Medallion (Bronze, Silver e Gold).

- Implementar soluções de processamento de dados em batch e streaming, incluindo CDC e Structured Streaming.

- Desenvolver e orquestrar processos de ingestão e integração de dados utilizando Azure Data Factory (ADF), Auto Loader e Lakeflow.

- Implementar práticas de governança, segurança e controle de acesso aos dados por meio do Unity Catalog.

- Desenvolver APIs REST, integrações e automações utilizando Python.

- Implementar processos de CI/CD, versionamento e automação de deploy utilizando Git e Databricks Workflows.

- Domínio avançado de Databricks, PySpark, Spark SQL e Delta Lake.

- Experiência sólida com DLT / Lakeflow Spark Declarative Pipelines, CDC eStructured Streaming.

- Experiência prática com Liquid Clustering, Auto Loader e otimização detabelas Delta.

- Domínio de Unity Catalog, governança, segurança, linhagem e controle deacesso.

- Experiência na definição e implementação de Arquitetura de Dados,incluindo modelo Lakehouse e arquitetura Medallion (Bronze, Silver e Gold).

- Experiência prática com Azure Data Factory (ADF) para orquestração, ingestão e integração de dados.

- Experiência em Desenvolvimento de APIs (REST) e programaçãoavançada em Python para construção de integrações, microsserviços e automações.

- Conhecimento avançado em Spark Performance Tuning, Photon,particionamento, shuffle e análise de planos de execução.

- Experiência com Databricks Workflows, CI/CD, Git e DeclarativeAutomation Bundles.

- Capacidade de otimizar workloads, dimensionar recursos computacionaise reduzir custos de processamento.

- Experiência em observabilidade, monitoramento e sustentação depipelines em produção.

- Capacidade de atuar como referência técnica, orientar profissionais eestabelecer boas práticas de engenharia de dados.

- Certificações:Databricks Certified Data Engineer Associate; Databricks Certified Data Engineer Professional.

Informações adicionais

Benefícios

- Vale-alimentação e/ou vale-refeição;

- Plano de saúde e plano odontológico;

- Plano de saúde para o seu pet;

- Auxílio home office (para vagas remotas);

- Kit de boas-vindas no onboarding;

- Seguro de vida;

- Zenklub, com acompanhamento psicológico e nutricional;

- TotalPass;

- Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce);

- Parcerias e descontos para o seu desenvolvimento;

- Acesso ao conteúdo UOL;

- Kit maternidade;

- Licença maternidade e paternidade estendidas;

- Programa de indicações.

Originally posted on Himalayas