Data Engineer
DataBricks Data Engineer
Sao Paulofulltimesenior
Apply on the employer's siteRole description
A Infosys Brasil está em busca de profissionais com o perfil de DataBricks Data Engineer (Migração DW e reconstruir pipelines) para se juntar ao nosso tempo.
Qualificações exigidas:
Ter pelo menos 2 a 3 anos de experiência como Data Engineer e pelo menos 1 ano residente com DataBricks.
O Foco principal desta posição Migração DW e reconstruir pipelines DataStage/Synapse em Databricks
Requisitos obrigatórios:
- AWS, Databricks, Python, Pyspark, SQL
- PySpark e Python avançados: desenvolvimento de pipelines batch em escala, com testes e boas práticas de engenharia.
- SQL básico e modelagem de dados: transformações complexas, ajuste de desempenho e modelagem relacional/dimensional em contexto de DW.
- Databricks e Delta Lake: jobs, workflows e arquitetura medalhão (bronze, silver, gold) em produção; Delta Live Tables / Lakeflow e Asset Bundles.
- Migração / acompanhamento de pipelines ETL: tradução de regras de negócio de ferramentas legadas para Spark (sem lift-and-shift), com ingestão de CDC/batch de bancos relacionais.
- Ecossistema AWS: S3, Glue, EMR, Athena, Lambda, DMS e Step Functions.
- Azure Synapse: experiência com o ambiente legado (pools SQL e pipelines) para apoiar a engenharia reversa.
- Qualidade e reconciliação de dados: testes automatizados, DQ gates e comparação legado × novo para óleo de paridade.
- Git e CI/CD aplicados a pipelines de dados.
Requisitos Desejáveis:
- Conhecimento de DataStage (leitura de jobs para engenharia reversa) — diferencial importante.
- Experiência prévia em programas de migração de DW para lakehouse — diferencial.
- Catálogo Unity (permissões, linhagem) e contratos de dados.
- Vivência em projetos de Data Mesh (domínios, produtos de dados, governança federada) — diferencial importante.
- Experiência no mercado financeiro ou de crédito — diferencial importante.
- Observabilidade e monitoramento de plataformas de dados (tabelas de sistema, métricas de empregos, qualidade de dados).
- FinOps: monitoramento, alocação e otimização de custos em Databricks (DBUs, dimensionamento de clusters, políticas de computação).
- Delta Sharing em cenários cross-company, cross-cloud ou cross-region.
- Especificações abertas de contrato de dados (Open Data Contract Standard, ODPS).
Informações adicionais:
Tipo de trabalho: CLT, Horários flexíveis.
Pacote de benefícios: Vale Transporte, Vale Refeição, Auxílio Creche, Seguro de Vida, Auxílio Funerário, Convênio Médico e Odontológico.
Carreira: Atuação Global em clientes e/ou projetos nacionais e internacionais, possibilidade de transferência de carreira internacional.
This is a saved copy of a posting published elsewhere. Postings get taken down without notice — check the employer's site before applying. mentors.coach is not the hiring party.