Contexte global et problématique du sujet  
Orange traite de grandes quantités de conversations humain-machine (via diverses solutions de bots) et humain-humain pour la relation client. Souvent ces conversations ne sont pas rigoureusement évaluées. Dans le cas de bots, l’émergence récente des grands modèles de langage ou LLMs (pour Large Language Models) rend possible assez facilement le développement d’agents capables de résoudre des taches complexes (e.g. ReAct, Chain of Thoughts).  Il est ainsi probable que l’usage de bots va se multiplier à l’avenir dans des services en production. Alors que l’évaluation de la qualité de ces bots était une tâche relativement manuelle spécifique aux périmètres et domaines de spécialité des conversations traitées, cette multiplication appelle à adopter une approche automatique pour avoir la capacité de piloter les déploiement et évolutions de tous ces bots. De manière générale, l’évaluation des conversations concernent aussi celles entre humains. 
Plus globalement en traitement automatique des langues, les LLMs conduisent à un estompement des frontières entre les diverses tâches de traitement automatique des langues (par exemple le résumé, l’analyse de sentiments, les systèmes question-réponse, de recommandation, la génération de code, etc.) et les domaines d’application (par exemple : tourisme, restaurant, commerce, assistance technique, etc.). Ainsi, la question de l’évaluation des sorties des LLMs est devenu un sujet transversal. 
Divers travaux s’intéressent déjà à chercher une corrélation entre des métriques (indicateurs) objectives et subjectives pour évaluer les conversations et pour la génération de textes. D’autres cherchent à prédire la qualité d’une conversation. Des scores agnostiques au modèle pour comparer le comportement des deux systèmes de dialogue ont été également propose par la littérature.  Le challenge DSTC (Dialogue System Technology Challenge) propose régulièrement, y compris cette année, l’évaluation des dialogues.  
     Nous cherchons de nous inspirer de la théorie de jeux, l’interprétabilité et des voitures autonomes pour trouver la stratégie qui a été suivi par les systèmes de dialogues. Nous cherchons de travailler sur des données publics (WebShop, ALFWorld,…) et privés Orange (Assistance Technique, Bot commerciaux, …). 
 

Compétences (scientifiques et techniques) et qualités personnelles exigées par le poste
- Vous avez des compétences dans les domaines de l’Intelligence Artificielle, de l’apprentissage automatique et particulièrement dans l’apprentissage profond.
- Vous disposez d’un bon niveau en mathématiques (optimisation numérique, statistiques, probabilités, etc.).
- Vous maîtrisez le développement logiciel
- Vous maîtrisez l’anglais lu, écrit, parlé
- Vous êtes curieux, attiré par les nouvelles technologies, et prêt à suivre le rythme de leurs évolutions
- Vous aimez le travail en équipe, au sein de projets pluridisciplinaires, et contribuer à un objectif commun, tout en étant autonome sur les activités qui sont les vôtres
- Vous avez de bonnes capacités d’analyse et de synthèse
- Maîtriser un des outils d’apprentissage profond suivants : Torch, pyTorch, TensorFlow, MXNet serait un plus
- Vous aimez communiquer le résultat de vos travaux à travers de rapports écrits et des présentations orales

Formation demandée?(master, diplôme d’ingénieur, doctorat, domaine scientifique et technique …)

Cursus d’ingénieur et/ou Master de Recherche, avec des connaissances dans l’apprentissage automatique et dans au moins l’un des domaines cités ci-dessus.

Expériences souhaitées?(stages, …)
Une première expérience de mise en oeuvre d’algorithmes d’apprentissage neuronal (dans le cadre d’un stage par exemple) serait un plus.