Engenheiro de Dados

É o construtor técnico (hands-on) que dará vida à arquitetura projetada. Este profissional será responsável por criar as integrações, construir os pipelines de ingestão e desenvolver os processos de transformação que movimentam os dados desde a fonte até as camadas de consumo.

Requisitos
Processamento de Dados: Proficiência no desenvolvimento de pipelines utilizando Apache Spark. Conhecimento tanto em processamento em lote (Batch) quanto em tempo real (Streaming).

Mensageria e Eventos: Experiência prática com ferramentas de streaming e mensageria citadas na arquitetura, como Apache Kafka e Amazon Kinesis.

Linguagens e Banco de Dados: Domínio de linguagens de programação para dados (Python, Scala) e SQL avançado. Familiaridade com manipulação de diferentes formatos de arquivos (CSV, JSON, TXT).

Integração de Origens (APIs/Bancos): Capacidade técnica para extrair dados brutos das plataformas atuais da Gobrax: HubSpot, Odoo, Omie, CHS e do banco de dados da plataforma V3.

Limpeza e Qualidade: Habilidade para atuar na camada Silver, desenvolvendo lógicas de padronização, validação de qualidade, deduplicação e relacionamento de entidades.

Ambiente Cloud: Experiência com os serviços de dados e armazenamento da AWS.