En tant que Data Engineer chez namR, vous occuperez un rôle central dans la création du Digital Twin. En collaboration avec des Data Scientists, des Data Analysts et les autres Data Engineers, vos missions seront de :

• Développer les outils de récupération des fichiers issus de notre Datalake de différents formats : csv, xls, json, geojson, shp, dbf etc ;
• Sourcer, analyser, nettoyer, intégrer et documenter les Datasets du datalake ;
• Faire évoluer notre infrastructure de données vers des technologies scalables (Hadoop/Spark, BigQuery, Citus) intégrant plusieurs types de données (structurées, géolocalisées, imagerie, texte, etc.) ;
• Industrialiser les modèles des Data Scientists en définissant et en implémentant une architecture fiable (GCP, Dataiku) ;
• Maintenir les scripts de scheduling des flux de données ;
• Garantir la disponibilité des outils et bases de données utilisés par l’ensemble des équipes intervenant sur notre datawarehouse pour un requêtage optimal ;
• Assurer et surveiller l’automatisation des mises à jour des données depuis leur sourcing à leur structuration ;
• Effectuer une veille systématique des technos, outils et méthodes de gestion des bases de données.

Formation :

Ecole d’ingénieurs ou Master 2 en Informatique.

Expérience :

Entre 3 et 5 ans d’expérience (hors stage) sur un projet big data.

Profil :

• Parfaite maitrise de la gestion, le stockage et le traitement de bases de données ;

• Capacité à programmer : maitrise du langage Python, SQL (idéalement PostgreSQL/PostGIS) ;

• Connaissance des outils Airflow, Dataiku, Git et NoSQL serait un plus ;

• Affinité avec l’utilisation d’une solution cloud (OVH, AWS, GCS, Azur) ;

• Être agile avec les différents types de données;

• Maitrise de l’anglais à l’écrit comme à l’oral.

• Vous êtes un.e bon.ne communiquant.e à l’écrit comme à l’oral ;

• Vous êtes curieux.se, autonome et volontaire ;

• Vous aimez travailler en équipe.