Au sein de GDO, et rapportant au Responsable Data Lake le ou la Data Engineer industrialise les traitements de données en vue de la valorisation de cette dernière au sein de contextes applicatifs allant de la finance à l'internet des objets, la sécurité, l'expérience client... Il ou elle travaille en étroite collaboration avec les Data Scientists, les Data Architects, les Data Managers pour concevoir et implémenter les solutions axées sur un triptyque performance/sécurité/opération dans un environnement cloud et un état d'esprit DevOps.

Missions & Responsabilités

En tant que Data Software Engineer vous aurez les responsabilités suivantes :

• Collecter, consolider et mettre en qualité des gros volumes de données
• Concevoir, développer, tester et industrialiser des traitements "Big Data" dans différents contextes métier et applicatifs en collaboration avec les data architects et devops
• Assurer le support de traitements data
• Développer des outils d'automatisation, d'intégration et déploiement continu pour faciliter le travail des data scientists et autres analystes
• S'assurer de la scalabilité, la sécurité et de la disponibilité des données de la plateforme
• S'assurer de la bonne application des règles de sécurité et de confidentialité du Groupe au sein des traitements de données
• Participer au maintien de la cohérence et des bonnes pratiques auprès des data engineer intervenant sur différents projets
• Contribuer aux communautés d'expertise technique du Groupe
• Incarner et relayer les méthodologies axées sur le produit et la donnée

Profil et compétences

• Formation supérieure en Sciences Informatiques ou équivalent, idéalement avec une orientation data
• Minimum 5 ans d'expérience
• Expérience requise en software engineering

Compétences techniques

• SQL: Excellente maîtrise, capacité de faire des requêtes analytiques complexes
• Big Data : Expérience réussie de développement d'applications Big Data, expérience avec Spark ou autre MPP
• Software engineering : Designs patterns, base solide en développement, Bonne maîtrise d'un ou plusieurs langages de développement : Python, Java, Scala, etc.

• Cloud : Bonnes connaissances en technologies AWS (EMR, Lambda, Kinesis, DynamoDB, Athena, Airflow, Elasticsearch).
• Analytics : Une connaissance des outils BI (Azure Azure Data Warehouse, Azure SQL database, Power BI)
• Excellente maîtrise des fonctions de gestion de la donnée : collecte, analyse, distribution, etc…
• Capacité à sélectionner et à appliquer certaines librairies et algorithmes standards de machine learning ainsi qu'à mettre en place des metrics adaptées serait un plus intéressant.