Ta mission

Nettoyer, structurer et rationaliser les données legacy de Comet réparties sur plusieurs systèmes, afin de garantir une base data fiable, exploitable et maintenable, et de préparer la future centralisation des données sur une plateforme type DataBricks.

Tu travailleras en direct avec Jérémy notre Tech Lead ainsi qu’avec Margaux et Marine nos Product Manager.

Tu interviendras avec un haut niveau d’autonomie et seras force de proposition sur les choix techniques et méthodologiques.

Ce que tu vas faire

Audit & cartographie des données

• Auditer les sources de données et les outils de transformation existants (Apache Airflow et DBT, BigQuery, AWS Glue avec Pyspark, AWS Athena)

• Cartographier les flux entre systèmes (pipeline, stockage, usages)

• Identifier les dépendances critiques et les zones à risque

Nettoyage & fiabilisation

• Identifier les incohérences, duplications et données obsolètes

• Mettre en place des stratégies de nettoyage et de déduplication

• Améliorer la qualité et la cohérence globale des datasets

Archivage & rationalisation

• Définir, avec l’aide des autres équipes, ce qui doit être conservé, archivé ou supprimé

• Mettre en place des stratégies d’archivage (coût, accessibilité, conformité)

• Supprimer les données et pipelines inutiles ou redondants

• Réduire la complexité globale de la stack data

Préparation à la centralisation

• Préparer les données pour une future centralisation sur une plateforme data comme Databricks

• Proposer une organisation cible des données

• Identifier les chantiers nécessaires pour la suite

Collaboration & pilotage

• Être force de proposition sur les choix techniques

• Prioriser les chantiers en lien avec la tech et le produit

• Avancer de manière autonome sur des sujets complexes

Expérience

• 3+ ans d’expérience en data engineering

• Expérience en environnement data complexe ou legacy

Compétences

• Bonne compréhension des architectures data modernes

• Solide maîtrise de Python et SQL (1+ ans d’exp)

• Expérience avec AWS Glue, Pyspark et Amazon Athena (1+ ans d’exp)

• Connaissance de BigQuery (1+ ans d’exp)

• Expérience avec Apache Airflow et DBT (1+ ans d’exp)

• Expérience avec Terraform (1+ ans d’exp)

• Utilisation des bonnes pratiques du software engineering : Infrastructure as code (IAC), CI/CD, revues de code…

Bonus

• Expérience en migration ou refonte de stack data

• Expérience avec Databricks

• Sensibilité aux problématiques de data governance

Soft skills

• Autonomie forte

• Esprit structuré et analytique

• Capacité à proposer des solutions concrètes

• Communication claire avec des profils techniques et non techniques

Ce que tu vas apporter

• Une base data propre, fiable et exploitable

• Une réduction significative de la complexité existante

• Une base saine pour la future centralisation des données

• Des recommandations concrètes pour la suite

Pourquoi nous rejoindre

• Mission à fort impact sur un sujet stratégique

• Accès direct aux décisions techniques (travail en direct avec le tech lead et le produit)

• Environnement pragmatique, orienté résultats

• Liberté dans les choix techniques

1. Un premier entretien en visio avec Jérémy, notre Tech Lead

2. Un second entretien en visio ou en présentiel avec Marine et Margaux nos Product Managers

3. Un dernier entretien avec Laurent, notre CEO

Inclusion

Chez Comet, nous croyons au bien-être et à l’épanouissement au travail.
Tous nos postes sont ouverts aux personnes en situation de handicap.