Data Engineer Databricks (IT) / Freelance

Votre mission

Dans le cadre du développement de notre plateforme Data, nous recherchons un Data Engineer pour concevoir, développer et maintenir des pipelines de données performants dans un environnement Cloud AWS.

Vous participerez notamment à :

Développer et optimiser les traitements d?ingestion et de transformation de données avec Python, Spark et Databricks.

Mettre en place les flux de données entre différentes sources et le Data Lake.

Orchestrer et superviser les traitements avec Airflow.

Garantir la qualité, la disponibilité et les performances des pipelines.

Assurer le support, la correction des anomalies et l?amélioration continue de la plateforme.

Participer aux choix techniques, aux ateliers projet et à la documentation.

Profil candidat:

Profil recherché

Vous justifiez d?une expérience en Data Engineering et appréciez les environnements Cloud et Big Data. Vous êtes autonome, rigoureux(se) et aimez travailler en équipe.

Compétences techniques

Obligatoires

Python

Spark

PySpark

Databricks

SQL

AWS (S3, Glue, Airflow, CloudWatch, Lambda, IAM)

Git / GitLab CI-CD

Jira & Confluence

Méthodologie Agile Scrum