Stage de fin d’études — LLM-as-a-Judge : évaluation automatique, fiabilité et qualité des modèles d’IA (H/F) Wavestone
Cabinet de conseil en transformations stratégiques et IA.
Traineeship
Puteaux
Remote: Not specified
Salary: Not specified
< 6 months
Skills we're looking for
Communication skills
Career management
Fabric
Dataiku
Datacamp
+4
You'll be part of
6111 employees
Organisation / Management
Stratégie
Transformation
Average age: 31
Founded in 1990
59%
41%
Revenue: 954,3 M€
Employee turnover: 12
Chez Wavestone, nous accompagnons les entreprises et les organisations dans leurs transformations les plus stratégiques à l’heure de l’intelligence artificielle et des grandes mutations qui redéfinissent notre monde.
Cabinet de conseil indépendant, nous combinons expertise métier, excellence technologique et connaissance sectorielle pour transformer les ambitions en résultats concrets. Notre approche est globale, de la définition de la stratégie à sa mise en œuvre opérationnelle, avec une conviction forte : la technologie, et notamment l’IA, doit toujours être mise au service de l’humain.
Avec plus de 6 000 collaborateurs répartis dans 17 pays et plus de 40 nationalités, nous cultivons la diversité des points de vue, l’esprit entrepreneurial et la collaboration internationale pour répondre aux enjeux complexes de nos clients.
Notre ambition est claire : contribuer activement aux transformations qui façonnent l’avenir. C’est tout le sens de Lead the shift, notre plan stratégique qui place l’intelligence artificielle au cœur de notre développement et mobilise l’ensemble du cabinet autour de l’innovation, du développement des talents, de la croissance internationale et de la création d’un impact positif et durable pour nos clients, nos collaborateurs et la société.
Chez Wavestone, nous vivons au quotidien The Positive Way : nos valeurs, Energetic, Responsible & Together, guident nos décisions, nos comportements et notre façon de travailler ensemble. Elles se traduisent par une culture exigeante et bienveillante qui encourage l’autonomie, la prise d’initiative, l’apprentissage continu et la réussite collective.
Parce que nous sommes convaincus que la performance durable passe par l’épanouissement de chacun, nous offrons à nos collaborateurs un environnement stimulant, inclusif et apprenant, où chacun peut développer son potentiel, avoir un impact et construire un parcours qui lui ressemble.
You'll be working on
Company Description
Rejoignez un cabinet de conseil international qui accompagne les grandes transformations stratégiques.
Nous sommes Wavestone : des expert·es passionné·es et orienté·es solutions, qui placent l’humain au cœur de la performance et de la croissance. Ambitieux·ses et en pleine expansion, nous développons sans cesse notre portefeuille de clients et de projets, avec une portée internationale et une réelle volonté de générer un impact positif.
Êtes-vous un·e vrai·e team player, porté·e par des valeurs fortes ? Êtes-vous curieux·se et déterminé·e, avec l’envie d’apprendre chaque jour ? Êtes-vous du genre à relever les défis sans hésiter ? Alors vous êtes au bon endroit. Rejoignez Wavestone et exprimez votre potentiel dans un environnement stimulant et collaboratif, où l’on transforme les défis d’aujourd’hui en opportunités de demain.
Job Description
Votre équipe
Une communauté de +500 consultants IA & Data, renforcée depuis septembre 2026 par l’intégration d’AI Builders. Nous accompagnons les organisations de bout en bout :
- Identifier les cas d’usage IA à plus forte valeur métier
- Concevoir des plateformes Data & IA performantes et industrialisées
- Définir des modèles de gouvernance responsables et scalables
Du concret, pas de l’IA de démonstration : nos équipes développent des solutions déployées en production, parmi lesquelles :
- Une plateforme Data Groupe sur Microsoft Fabric
- Un système multi-agents traitant 80 000 demandes d’achat par an
- Une plateforme de services IA basée sur l’écosystème Mistral
- Un modèle de computer vision atteignant 91 % de précision terrain
Un écosystème technologique de premier plan : nous travaillons avec les principaux acteurs du marché : Microsoft, Google, AWS, Mistral, Anthropic, Databricks et Dataiku, tout en conservant une approche indépendante, guidée par la valeur créée pour nos clients.
Votre sujet de stage
En parallèle de vos missions, vous conduirez un sujet de stage fil rouge. Ce sujet vous permettra d’approfondir une expertise spécifique, de contribuer à la communauté IA de Wavestone et de valoriser vos travaux lors d’une restitution en fin de stage.
Votre sujet fil rouge consistera à concevoir un dispositif d’évaluation automatique fondé sur l’approche LLM-as-a-Judge : protocoles d’évaluation, jeux de test, mesure de la corrélation avec le jugement humain et analyse des biais du modèle juge. Vous contribuerez à produire un cadre d’évaluation applicable à l’ensemble de nos projets d’IA générative et agentiques.
Vos responsabilités
Sous la tutelle d’un·e consultant·e et le pilotage d’un·e manager, vous interviendrez progressivement sur les missions suivantes :
- Concevoir des protocoles d’évaluation automatique de solutions GenAI et agentiques
- Construire des jeux de test et des grilles de notation adaptés aux cas d’usage
- Mesurer la fiabilité des évaluations et analyser les biais des modèles juges
- Intégrer l’évaluation dans les chaînes de déploiement et les dispositifs de monitoring
- Formaliser un cadre d’évaluation réutilisable et le diffuser au sein de la communauté
Quel que soit votre sujet, vous réaliserez une veille technologique continue sur les solutions Data & IA et contribuerez à la vie et au rayonnement de la communauté IA Wavestone.
Exemples de missions
- Transverse : mise en place d’un dispositif d’évaluation continue sur une plateforme agentique multi-usages
- Industrie : évaluation de la qualité et de la fiabilité des réponses d’un agent documentaire technique
- Énergie : mesure de la pertinence d’un assistant conversationnel sur un corpus réglementaire
Votre accompagnement
- Un·e tuteur·rice, un·e chef·fe de projet et un·e Career Development Manager pour vous guider tout au long de votre parcours
- L’AI School, parcours d’acculturation commun à tous les arrivants, stagiaires inclus
- L’accès à DataCamp, au programme d’upskilling AI&Me et à une licence Copilot M365
- Des feedbacks réguliers, un parcours d’intégration structuré et une communauté active de nouveaux arrivants
We're looking for
Profil recherché
- Étudiant·e en dernière année de grande école d’ingénieurs ou de commerce (Diplôme d’Ingénieur, PGE), avec une spécialisation en data science, intelligence artificielle, transformation digitale ou stratégie
- Maîtrise de Python et pratique des frameworks LLM : appels d’API, prompt engineering, architectures RAG
- Rigueur méthodologique et goût pour la mesure et l’expérimentation
- Motivation pour découvrir le conseil et les environnements client grands comptes
Langues
- Français : un niveau courant est requis pour ce poste
- Anglais : un niveau minimum C1 est requis pour ce poste
Ce qui fera la différence
- Curiosité intellectuelle et envie d’apprendre
- Capacité d’analyse et de structuration
- Autonomie et sens des responsabilités
- Aisance en communication écrite et orale
- Esprit d’équipe et goût du travail collaboratif
Additional Information
Pourquoi nous rejoindre
- Un impact réel, à l’échelle : des solutions IA industrialisées et utilisées par des milliers d’utilisateurs, pas des POC qui s’arrêtent au MVP
- Un spectre complet : stratégie, plateformes, engineering et gouvernance sous un même toit
- Une trajectoire qui vous appartient : pas d’up-or-out, promotions sans quota, grilles salariales transparentes, progression à votre rythme
- un environnement de travail flexible et collaboratif
Tous nos stages de fin d’études s’inscrivent dans une logique de pré-embauche.
Machine Learning · GenAI · LLM · RAG · MLOps · Python · AI Engineering · Junior Consultant
Parce que votre réussite est notre priorité, nous adaptons nos processus de recrutement et l’environnement de travail à vos besoins spécifiques ou situations de santé (aménagements de poste, tiers-temps, outils adaptés…). Cette démarche, confidentielle et fondée sur l’équité, garantit à chaque candidat·e les meilleures conditions pour exprimer son plein potentiel dès le processus de recrutement, lors de sa prise de poste et tout au long de sa carrière.
Benefits
Key figures
In short
Founding year
1990
Employees
6111
Average age
31
Turnover rate
12
Annual revenue
954,3 M€
Gender
41%
59%
