La mise à jour et l’archivage de nos données via des pipelines est une question clé de l’équipe data engineer, chez nam.R. L’open data, utilisée comme matière d’entrée, est amenée à changer, il y a des données temporelles à intégrer régulièrement, des nouvelles versione de l’ensemble de données à produire.

Pour enrichir notre base de données, le « Digital Twin », nos données sont versionnées et peuvent évoluer grâce à:

• la mise à jour sur les modèles d’apprentissage automatique;
• l’élargissement de la portée spatiale des données intégrées;
• l’évolution des règles métiers utilisées pour enrichir les données;
• les nouvelles sources de jeux de données.

Nous devons être complètement capables de:

• suivre les mises à jour des données;
• automatiser ces mises à jour;
• lancer les déclencheurs;
• identifier les dépendances, la planification, etc.;
• stocker les versions précédentes dans la ou les bases de données appropriées et pouvoir les récupérer facilement.

Vos missions seront de :

• Étudier l’état de l’art en matière de gestion des versions et de stockage des données temporelles;
• Proposer des solutions de référence en relation avec nos bases de données, nos outils et la structure de nos pipelines de données;
• Concevoir une architecture pour mettre à jour les données temporelles et versionnées en fonction des problèmes décrit ci-dessus.

Formation :
Master ou Ecole d’Ingénieurs en informatique / Big Data / Data Science

Vous maitrisez les bases de données de type SQL et NoSQL
Vous savez développer en Python et connaissez les outils de type Git, Docker, etc

1/ Quizz technique
2/ Entretien