Votre rôle au sein de l’équipe : 

Rattaché(e) au Tech Lead Data Engineer, vous jouerez un rôle clé dans le développement, l'optimisation et la gestion de nos flux de données pour nos clients internes. 

Missions principales : 

En tant que Data Engineer, vous serez impliqué(e) dans les activités suivantes : 

• Développer et maintenir des pipelines d'ingestion de données avec Azure Data Factory. 
• Concevoir des pipelines de transformation de données sur Azure Databricks 
• Implémenter des tests unitaires afin de garantir la robustesse du code et des solutions développées. 
• Définir et appliquer des règles de qualité des données. 
• Participer à la conception des pipelines CI/CD via Azure DevOps pour automatiser les déploiements. 
• Appliquer des bonnes pratiques de software engineering dans toutes les étapes du développement. 
• Collaborer étroitement avec les Product Owners Data pour comprendre les besoins métiers et proposer des solutions adaptées. 
• Assurer la supervision des traitements de données avec Datadog. 
• Contribuer à la définition et à l'optimisation des architectures de données. 

Description du profil :

Vos atouts pour faire la différence : 

Maîtrise d’un ou plusieurs langages de programmation : Python, PySpark, Scala et SQL. 

Expérience confirmée dans le développement de pipelines de données sur Databricks  

• Bonne connaissance du Spark UI avec la capacité de diagnostiquer et d’optimiser les traitements. 
• Bonne connaissance de l’environnement Azure et de ses services cloud orientés data. 
• Familiarité avec les bonnes pratiques de développement (clean code, versioning, tests) et les principes de la modélisation BI. 
• Expérience d’utilisation du framework dbt pour la transformation de données en SQL. 
• Pratique du travail en méthodologie Agile, en lien étroit avec les Product Owners Data et l’équipe projet. 
• Force de proposition, tu sais t’adapter rapidement dans un environnement technique en constante évolution.