Nous renforçons notre équipe pour accompagner notre Client sur l’évolution de sa Data Platform vers un modèle centralisé multi-pays, avec des enjeux forts de migration Unity Catalog, d’industrialisation, et d’optimisation des environnements Databricks (AWS).

Missions principales : concevoir et optimiser des pipelines de données sur Databricks, contibuer à la migration Unity Catalog, garantir la performance et la fiabilité des traitements data dans un environnement cloud AWS.

🎯 Responsabilités

Développement & maintenance des pipelines : développer des jobs Spark/Databricks (ingestion, transformation, synchronisation) et gérer des dataflows complexes multi-collections avec validation et documentation rigoureuses.

Migration Unity Catalog & gouvernance : contibuer à l’inventaire et la migration des tables vers Unity Catalog, mettre en place le modèle de gouvernance (permissions, ownership, lineage) et standardiser les environnements.

Optimisation Databricks & performance : optimiser clusters, init scripts, policies et CI/CD. Réduire les coûts compute et améliorer la stabilité en investigant les problèmes de permissions, ACL et networking.

Intégration cloud AWS : gérer les workloads Databricks sur AWS (compute, IAM, monitoring), participer aux déploiements multi-géographies et exploiter les données AWS pour analyser l’impact des optimisations.

Support & collaboration : assurer le support technique auprès des équipes internes/clients, présenter les choix techniques en réunion et collaborer avec les équipes data, cloud, sécurité et BI.

🛠 Compétences techniques recherchées

Stack : Databricks (Spark), AWS (IAM, compute, monitoring), Unity Catalog, PySpark, SQL avancé, CI/CD

🚀 Profil recherché :

• 3+ ans d’expérience en data engineering avec maîtrise Databricks/Spark et expérience AWS.

• Solide expérience sur des pipelines volumétriques

• Capacité à intervenir sur des environnements complexes (gouvernance, performance, réseau).

• Capacité à challenger et reformuler les besoins

• Autonomie et ownership

• Communication claire et structurée

• Travail efficace en équipe multi-compétences