[FBO] Data Engineering Spark Scala - 1773 (IT) / Freelance

Contexte de la mission

Poste de data engineer, experimenté à senior, avec un savoir faire significatif de realisation de traitements Spark en Scala (pas Python/Pyspark, ou alors en compétence secondaire)

Une experience de flux réalisés sur Databricks/Azure serait un plus important.

Pour intégrer une équipe de data engineering dans la filiale d'une grande banque française

ATTENTION : pas de portage d'independant, ne nous proposez que des collaborateurs que vous avez en CDI

Objectifs et livrables

Objectifs et livrables

Activités principales

Développement et intégration

Développer et maintenir des pipelines de données sur l?infrastructure existante (batch, streaming, API)

Concevoir, optimiser et industrialiser les traitements de données en Spark (Scala)

Assurer l?intégration et la gestion de flux de données via Kafka et HDFS

Exploiter et administrer des bases de données NoSQL (Cassandra)

Gestion du run (rôle tournant)

Surveiller la performance et la scalabilité des processus

Prendre en charge la résolution des incidents et l?amélioration continue en production

Escalader auprès des sachants les anomalies critiques

Communiquer les incidents aux parties prenantes le cas échéant.

Relation métier et vulgarisation

Participer aux ateliers métier pour comprendre les besoins et proposer des solutions adaptées

Vulgariser et documenter les travaux réalisés pour faciliter leur appropriation par l?équipe et les parties prenantes

Profil recherché

Formation : Bac+5 en informatique, data engineering ou équivalent

Expérience : Minimum 3 ans sur un poste similaire

Compétences techniques requises

Maîtrise du développement Spark (Scala)

Bonne connaissance de l?écosystème Big Data : HDFS, Kafka, Cassandra

Expérience sur des architectures batch, streaming et API

Pratique du versioning (git) et des outils d?intégration continue

Bonus : experience en env Databricks/Azure

Compétences complémentaires (atouts)

Databricks

Expérience sur Airflow

Expérience sur des environnements cloud (Azure)

Développement Node.js

Pratique de la CI/CD et des outils de monitoring

Savoir-être

Esprit d?équipe, sens du service et de la communication

Capacité à vulgariser et à transmettre ses connaissances

Capacité d?analyse

Autonomie, rigueur et sens de l?organisation