Safran est un groupe international de haute technologie, équipementier de premier rang dans les domaines de l'Aéronautique, de l'Espace, de la Défense et de la Sécurité. Au sein de Safran Tech (le centre de R&T du groupe), l'Unité de Recherche Maths & Algorithms for Temporal Data (MATD) développe de nouveaux outils pour répondre aux grands enjeux en aéronautique ; en particulier, des méthodes de suivi efficaces de la santé des équipements, afin d'optimiser la maintenance et garantir la sécurité.
Des avancées récentes des grands modèles de langage génératifs (en anglais, Large Language Models (LLM)) rencontrent un succès dans de nombreux domaines et applications. En particulier, au sein de Safran, il existe plusieurs besoins d'utilisation des modèles LLM pour différents cas d'applications, notamment pour faciliter l'extraction d'information à partir d'un ensemble de données de documentation métier. L'un des défis de l'utilisation de ces modèles dans cette tâche est de savoir comment ré-entraîner les modèles LLM avec des connaissances spécifiques au domaine ou des données supplémentaires, ce qui nécessite souvent des pipelines complexes et des ressources informatiques coûteuses.

Par ailleurs, la Génération Augmentée par Récupération (en anglais, Retrieval Augmented Generation (RAG)) a été introduite récemment comme une technique prometteuse pour faciliter l'incorporation de données supplémentaires aux LLM. Comparé aux modèles de génération conventionnels, RAG présente des avantages remarquables et a notamment atteint des performances de pointe dans de nombreuses tâches de traitement du langage naturel, telles que la génération de réponses de dialogue, la traduction automatique et le résumé [1]. Le pipeline RAG ne nécessite que quelques étapes de code (voire pas de code) pour permettre au modèle d'accéder et de s'améliorer à partir de données supplémentaires, grâce à l'environnement tel que Langchain [2].

Dans le cadre de ce stage et au sein de cet environnement, nous explorerons l'aspect « fine-tuning » de modèles LLM sur notre documentation interne, en utilisant des approches à l'état de l'art du type LoRa [3], QLoRA [4] etc. L'objectif est la spécialisation de grands modèles de langage à notre domaine d'application, vocabulaire, pratiques spécifiques etc. Nous analyserons si le fine-tuning apporte un gain par rapport à d'autres approches : prompt engineering, solution RAG contextuelle à une base documentaire etc. Enfin, dans un but d'évaluation de la sortie du modèle, nous chercherons à caractériser la sortie du modèle et aussi à maîtriser le fonctionnement du réseau appris.

Programmation : Python (librairies scientifiques)
Disciplines: LLM, NLP, prompt engineering, RAG, fine-tuning.
Langues : Anglais pour lecture scientifique + communiquer