STAGE M2 IA GENERATIVE : ÉVALUATION FIABLE DES SYSTEMES RAG EN PRODUCTION ET AGENTS AUTONOMES F/H EDF

La R&D d’EDF (2000 chercheurs) a pour missions principales de contribuer à l'amélioration de la performance des unités opérationnelles du groupe EDF, d'identifier et de préparer les relais de croissance à moyen et long terme. Dans ce cadre, le département Services, Economie, Outils Innovants et IA (SEQUOIA) est un département pluridisciplinaire (sciences de l’ingénieur, sciences humaines et sociales) qui fournit un appui à l’élaboration et au portage des offres, des services et des outils de relation client aux directions opérationnelles du groupe EDF.  

Au sein de ce département, ce stage sera rattaché au groupe « Statistiques et Outils d'Aide à la Décision » (SOAD) : cette équipe compte une vingtaine d'ingénieurs chercheurs spécialisés en IA et data science avec des compétences fortes autour du machine learning et du deep learning, du web sémantique, de l’IA symbolique et de l’IA générative (texte, voix, image, multimodalité…), en particulier du NLP (LLM, RAG, data mining,).

Dans le cadre de nos projets en IA générative, nous exploitons un chatbot RAG (Retrieval-Augmented Generation) en production sur une base documentaire métier dynamique. La qualité de ses réponses est actuellement suivie à l'aide d'outils d'évaluation tels que Giskard, reposant en grande partie sur des approches de type LLM-as-a-Judge.

Cependant, plusieurs travaux récents soulignent que les métriques actuellement utilisées ne sont pas toujours représentatives de la qualité réellement perçue par les utilisateurs. Les corrélations entre métriques automatiques, évaluations humaines et performance opérationnelle restent encore mal comprises, notamment sur des données métier réelles.

Vos missions principales :

État de l'art et analyse comparative : Étudier les métriques RAG existantes et comparer l'efficacité des frameworks du marché (Giskard, DeepEval, RAGChecker) sur nos données de production.
Étude d'impact du Juge : Analyser l'influence du modèle utilisé comme juge (Gemma, Qwen3.5, etc) et mesurer la corrélation avec les retours annotateurs.
Conception d'une plateforme agentique d'évaluation continue : Développer un système multi-agents (surveillance documentaire, clustering, génération de jeux de tests synthétiques et détection de régression) permettant de monitorer les performances du chatbot en continue.
Environnement technique

Le stage se déroulera dans un environnement de calcul dédié à l'IA comprenant :

·       Infrastructure GPU NVIDIA DGX A100 et DGX H100 ;

·       Plusieurs modèles de langage open source déployés localement pour l'expérimentation et les évaluations ;