En tant que Data Engineer Senior, vous jouerez un rôle clé dans notre équipe Data. Votre mission consistera à concevoir, développer et gérer l’infrastructure et les outils nécessaires pour le traitement et l’analyse d’ensembles de données provenant de sources variées. Une appétence pour la Data Science est un véritable plus.
Vos responsabilités seront réparties entre :
Industrialisation et suivi opérationnel :
Mettre en place des processus automatisés pour la mise à jour quotidienne de notre base de données.
Assurer la stabilité et la performance des processus existants.
Structuration et enrichissement du Data Lake :
Concevoir et optimiser le Data Lake.
Valoriser la donnée en la rendant accessible et exploitable pour ton équipe.
Participation au développement :
Contribuer au développement et à la maintenance des flux et du backend data.
Optimiser les performances et la scalabilité.
Objectifs
Nos objectifs immédiats sont de consolider et d’améliorer le traitements des données afin de pouvoir proposer une base de donnée saine, actualisée et utilisable directement dans nos produits.
Côté technique, nous avons plusieurs initiatives pour moderniser notre stack et nos flux data:
Refonte et amélioration des flux ETL qui déverse la données dans notre data lake.
Développement d’un data-backoffice pour la gestion du contenu.
Voici la plupart des outils et technologies que nous utilisons sur ce projet:
Langage de programmation : Go pour le legacy et Python pour les nouveaux services
Airflow pour l’orchestration ETL
BigQuery pour le stockage de donnée en base
Neo4J pour le référentiel médicale
ElasticSearch pour le moteur de recherche
Docker et terraform pour un déploiement sous une CI de github (ou circleCI pour le legacy)
Hébergement Cloud chez GCP
Vous êtes Diplômé(e) en ingénierie.
Vous avez à minima 3 années d’experience en tant que Data Engineer.
Vous maitrisez obligatoirement Python. Une connaissance en Go est un plus.
Vous maitrisez les outils data Google Cloud Platform (CloudRun, Bucket, BigQuery, Vertex).
Vous avez des solides connaissances en bases de données (SQL, DBT, Neo4J)
Vous connaissez les outils types ETL / workflows : Airflow, Perfect, DataFlow, CloudComposer etc.
Une connaissance en recherche d’information et outils associés Lucene (ElasticSearch plus particulièrement).
Excellentes compétences en communication et en relations interpersonnelles
Polyvalence et autonomie sur les missions qui vous sont confiées
Forte éthique de travail
Grande capacité d’analyse et de synthèse
Prise de contact avec Samson ou Natan de notre équipe de recrutement
Entretien avec Clément, Team Lead Data (en visio)
Test technique à faire chez soi
Entretien inversé avec l’équipe Data, sur place dans nos bureaux Lyonnais