Contexte du projet

La donnée est au cœur du produit et de la vision chez Skillup. Aujourd’hui, nous proposons à nos clients une offre complète de formations en France avec 50 000 programmes et 300 000 session mis à jour quotidiennement. Nous collectons et traitons de manière régulière des données de formation à partir de sites Web d’organismes partenaires.
Cette donnée nous sert à constituer un référentiel de compétences vivant et qui répond aux métiers d’aujourd’hui et de demain.

Pour continuer d’alimenter notre place de marché avec une offre complète et à jour, nous recrutons un/e Data Engineer pour construire des pipelines mêlant code, humains et algorithmes.

Globalement, tes missions seront de/d’:

Réviser et maintenir le processus d’extraction de données actuel

• Créer et maintenir les robots de scraping (Python, Scrapy, ML) pour notre catalogue de plus de 50 000 formations
• Détecter et traiter les anomalies
• Effectuer les reporting
• Travailler sur l’ensemble de la stack ETL

Participer à la mise en oeuvre d’une architecture de données fiable et scalable

• Participer à la refonte du pipeline de données dans une logique d’amélioration des performances, de maintenabilité et du monitoring de l’existant
• Faire évoluer nos cas d’usages afin de répondre aux nouveaux enjeux produit et business, par exemple la gestion du catalogue de formations vers l’international
• Collaborer étroitement avec les équipes tech, product et les métiers pour optimiser la performance de nos projets
• Participer à la veille technologique dans ton domaine d’expertise et êtes force de proposition dans une optique d’amélioration continue au sein du pôle

En outre, voici quelques indications pertinentes en lien avec la mission:

• 100 scrapers de sites Web qui tournent quotidiennement sur Zyte en utilisant Scrapy.
• 1000 tâches ETL sont exécutées quotidiennement sur Airflow.
• 300 000 statistiques de formation (changements de titre, de prix et de contenu) enregistrées chaque semaine.
• 1000 nouvelles formations classées en NLP par semaine.
• Tableau de bord développé in-house (Flask & ReactJS).

La stack
Data engineering: Python, Scrapy, Pandas, MongoDB, Neo4j, Zyte, Airflow, Dash/ Plotly
NLP / Machine Learning: scikit-learn, spaCy, pyTorch, fastText, XGBoost, transformers/BERT, GRU
Infrastructure : Docker, Aws, S3, Valohai

• Une expérience sur des problématiques de data engineering (construction de pipelines de données, problématiques de modélisation, optimisation techniques…)
• Une bonne compréhension de l’ETL: tu es capable de construire un pipeline de données fiable et scalable (tu connais par exemple une plateforme de gestion de workflow comme Airflow)
• Une maîtrise de Python: avec un code bien structuré, testé, documenté et efficace.
• Des qualités d’autonomie, de flexibilité et de responsabilité
• Une réelle appétence pour la donnée, tu restes toujours en veille sur le domaine

Entretien Visio avec Jérémie, le CTO & co-fondateur de Skillup
Tu te présenteras, toi, tes compétences et tes attentes. De son côté Jérémie te présentera Skillup et ses enjeux tech afin de valider le match mutuel !
Entretien technique
Tu échangeras avec tes pairs afin qu’ils comprennent comment tu appréhendes les sujets techniques, ta vision de la data mais aussi et surtout répondre à toutes tes questions !
Visite des locaux
Et si tout s’est bien passé des deux côtés … nous serons heureux de te voir rejoindre nos équipes 🚀