Votre futur environnement de travail :

Le domaine de la génération de texte a connu une avancée significative ces dernières années grâce au Deep Learning, des réseaux de type Transformers et de l’augmentation de la taille des paramètres.

Ce projet vise à contribuer à l'amélioration de modèles génératifs existants en explorant différentes approches : In-Context Learning, Prompt-Tuning, Fine-Tuning, Quantification...

Ce stage consiste à étudier les différentes manières d’améliorer l’usage d’un grand modèle de langage et d’expérimenter ces techniques sur les différentes plateformes de nos partenaires.

Votre rôle et vos missions :

Dans ce contexte, vous êtes amené(e) à :

• Étudier les modèles de génération de texte existants : vous réalisez une revue des modèles de génération de texte les plus répandus, tels que GPT-3/4, Llama2, Falcon et les architectures associées (Coder, Coder-Decoder, Decoder, etc.)
• Étudier les pipelines d’amélioration de nos partenaires : Amazon, Microsoft, Google, IBM et réaliser une synthèse des capacités.
• Améliorer l'efficacité des modèles : vous proposez des stratégies pour mesurer et optimiser l'efficacité et la rapidité des modèles de génération de texte, notamment en utilisant des techniques de type Adapters LoRA ou QLoRA, réduction de taille (quantification 8bits, 4bits), prompt tuning, etc.
• Enrichir les modèles avec des connaissances externes : vous explorez la possibilité d'enrichir les modèles en intégrant des bases de connaissances externes.
• Contrôler le style et la cohérence : vous investiguez des méthodes pour contrôler le style et la cohérence des textes générés, notamment sur les aspects complétude, clarté, pertinence…
• Évaluer les performances : vous mettez en place des protocoles d'évaluation rigoureux pour mesurer l'amélioration des modèles proposés, en se basant sur des métriques de qualité de texte bien établies.

Les apports du stage :

• Acquérir une expérience pratique en travaillant avec des technologies d'IA de pointe.
• Apprendre à collaborer et à communiquer efficacement au sein d'une grande organisation.
• Développer une compréhension approfondie de la documentation des logiciels et de son rôle crucial dans le cycle de développement.

Employeur inclusif et engagé, notre société œuvre chaque jour pour lutter contre toute forme de discrimination et favoriser un environnement de travail respectueux. C’est pourquoi, attachés à la mixité et à la diversité, nous encourageons toutes les candidatures et tous les profils.

https://www.soprasteria.fr/nous-connaitre/nos-engagements

Votre profil :

En dernière année d’école d’Ingénieurs ou équivalent, vous souhaitez poursuivre ou obtenir un diplôme en informatique, en génie logiciel ou dans un domaine connexe.

Une expérience préalable dans le développement de logiciels est un atout.

Les compétences requises sont les suivantes :

• Maîtrise d'au moins un langage de programmation (Python, Java, etc.).
• Familiarité avec le traitement du langage naturel et le Machine Learning
• Expérience des méthodologies de développement de logiciels et des normes de documentation.
• Compétences en matière d'analyse et de résolution de problèmes.
• Excellentes aptitudes à la communication écrite et orale.

Employeur inclusif et engagé, notre société œuvre chaque jour pour lutter contre toute forme de discrimination et favoriser un environnement de travail respectueux. C’est pourquoi, attachés à la mixité et à la diversité, nous encourageons toutes les candidatures et tous les profils.

https://www.soprasteria.fr/nous-connaitre/nos-engagements