En tant que Data Engineer Senior, vous jouerez un rôle clé dans notre équipe Data. Votre mission consistera à concevoir, développer et gérer l’infrastructure et les outils nécessaires pour le traitement et l’analyse d’ensembles de données provenant de sources variées. Une appétence pour la Data Science est un véritable plus.
Vos responsabilités seront réparties entre :

• Industrialisation et suivi opérationnel :

  • Mettre en place des processus automatisés pour la mise à jour quotidienne de notre base de données.

  • Assurer la stabilité et la performance des processus existants.

• Structuration et enrichissement du Data Lake :

  • Concevoir et optimiser le Data Lake.

  • Valoriser la donnée en la rendant accessible et exploitable pour ton équipe.

• Participation au développement :

  • Contribuer au développement et à la maintenance des flux et du backend data.

  • Optimiser les performances et la scalabilité.

Objectifs

Nos objectifs immédiats sont de consolider et d’améliorer le traitements des données afin de pouvoir proposer une base de donnée saine, actualisée et utilisable directement dans nos produits.
Côté technique, nous avons plusieurs initiatives pour moderniser notre stack et nos flux data:

• Refonte et amélioration des flux ETL qui déverse la données dans notre data lake.

• Développement d’un data-backoffice pour la gestion du contenu.

Voici la plupart des outils et technologies que nous utilisons sur ce projet:

• Langage de programmation : Go pour le legacy et Python pour les nouveaux services

• Airflow pour l’orchestration ETL

• BigQuery pour le stockage de donnée en base

• Neo4J pour le référentiel médicale

• ElasticSearch pour le moteur de recherche

• Docker et terraform pour un déploiement sous une CI de github (ou circleCI pour le legacy)

• Hébergement Cloud chez GCP

Votre Background

• Vous êtes Diplômé(e) en ingénierie.

• Vous avez à minima 3 années d’experience en tant que Data Engineer.

Vos Hard Skills

• Vous maitrisez obligatoirement Python. Une connaissance en Go est un plus.

• Vous maitrisez les outils data Google Cloud Platform (CloudRun, Bucket, BigQuery, Vertex).

• Vous avez des solides connaissances en bases de données (SQL, DBT, Neo4J)

• Vous connaissez les outils types ETL / workflows : Airflow, Perfect, DataFlow, CloudComposer etc.

• Une connaissance en recherche d’information et outils associés Lucene (ElasticSearch plus particulièrement).

Vos Soft Skills

• Excellentes compétences en communication et en relations interpersonnelles

• Polyvalence et autonomie sur les missions qui vous sont confiées

• Forte éthique de travail

• Grande capacité d’analyse et de synthèse

• Prise de contact avec Samson ou Natan de notre équipe de recrutement

• Entretien avec Clément, Team Lead Data (en visio)

• Test technique à faire chez soi

• Entretien inversé avec l’équipe Data, sur place dans nos bureaux Lyonnais