Ingénieur Data Senior — Plateforme Data On-Premise Open Source (IT) / Freelance

CONTEXTE

Client final : grand groupe média & audiovisuel français. Au sein de la Direction IT Transverse, l'équipe Services & Automatisation met en place les plateformes de services du groupe. Nous recherchons un Ingénieur Data expérimenté (5 ans et plus) pour construire un MVP de plateforme Data On-Premise reposant sur des briques Open Source : Kafka, NiFi, Spark, Iceberg, Trino. Le MVP s'intègre au socle existant (Kubernetes, GitLab CI, Prometheus/OpenTelemetry) ; projet mené avec l'équipe Data & IA.

OBJECTIFS DE LA PLATEFORME

• Gérer la transformation de données On-Premise et alimenter un datalake On-Premise
• Servir de plateforme d'ingestion pour la plateforme Big Data hébergée sur GCP
• Passer les traitements du mode batch au temps réel (streaming)
• Démontrer la faisabilité de la migration des flux ETL portés par un outil propriétaire (type OpenText/Genio) : quelques flux dans le MVP, migration complète hors scope

MISSIONS

1. Conception et développement du MVP

• Architecturer une plateforme On-Premise scalable et robuste, intégrée au socle existant
• Choisir, configurer et déployer les briques Open Source : Kafka (streaming), NiFi (ingestion et orchestration de flux), Spark (traitement distribué), Iceberg (tables analytiques), Trino (requêtage SQL distribué)
• Intégrer la plateforme avec Kubernetes, GitLab CI (pipelines de déploiement et tests) et Prometheus/OpenTelemetry (monitoring et observabilité)

2. Validation technique et faisabilité

• Transformer quelques flux ETL existants pour démontrer la valeur ajoutée
• Mettre en place des pipelines streaming (Kafka + Spark Structured Streaming)
• Alimenter le datalake On-Premise (Iceberg + Trino)
• Valider l'interopérabilité avec la plateforme Big Data GCP

3. Collaboration et transmission

• Travailler avec l'équipe Data & IA (besoins métiers/techniques) et les équipes DevOps/Infrastructure (intégration au socle)
• Documenter les choix techniques, architectures et bonnes pratiques
• Former et accompagner les équipes internes sur les nouveaux outils

Profil candidat:

• Plus de 5 ans en ingénierie de la donnée, dont une expérience confirmée sur des plateformes Data On-Premise
• Maîtrise opérationnelle de Kafka, NiFi, Spark (dont Structured Streaming), Iceberg, Trino
• Solide expérience du déploiement d'applications data sur Kubernetes
• Culture de l'observabilité (Prometheus, OpenTelemetry)
• Connaissance de GCP et des architectures hybrides on-prem/cloud
• Expérience de migration de flux ETL depuis des outils propriétaires appréciée