Stage de 6 mois à pourvoir sur Brest à partir du 02/03/2026.

• État de l'art : Effectuer une revue de la littérature sur les techniques d'estimation de l'incertitude (uncertainty quantification) dans les LLM, en se concentrant sur les méthodes basées sur les probabilités.

• Implémentation : Mettre en œuvre plusieurs approches (supervisées et non supervisées) pour calculer un score de fiabilité à partir des logits ou des probabilités des tokens générés.

• Expérimentation :
  
  • Définir un protocole d'évaluation robuste sur des benchmarks académiques (ex: questions avec réponses correctes/incorrectes connues).
  • Comparer les performances des méthodes développées par rapport à des baselines (ex: "LLM-as-a-Judge").

• Analyse : Analyser l'efficacité des différentes méthodes, leur coût computationnel, et leur capacité à détecter différents types d'erreurs (hallucinations, erreurs factuelles).

• Synthèse : Rédiger un rapport technique détaillant les méthodes, les résultats et les recommandations pour une mise en production.

• Étudiant(e) en Master 2 ou dernière année d'École d'Ingénieur en Informatique, Data Science, ou Intelligence Artificielle.
• Solides compétences en Python et dans un framework de Deep Learning (PyTorch ou TensorFlow).
• Bonnes connaissances théoriques en Machine Learning et Deep Learning.
• Qualités : Rigueur scientifique, curiosité, autonomie et esprit critique