Au sein de l’équipe « déploiement et embarquabilité », vous concevrez, évaluerez et optimiserez des techniques de compression adaptées aux spécificités de très gros modèles à base de transformers afin de déployer ces modèles sur des cibles embarquées à ressources limitées.

A ce titre, vos principales missions seront les suivantes :

·       Travailler sur les techniques de quantization et de distillation

·       Explorer d’autres sujets comme le pruning en fonction de l’avancement du stage

·       Etudier les techniques d’optimisation de l’inférence (flash attention, layer fusion, sparsity)

·       Evaluer ces techniques (perf profiling) en implémentation réelle sur du matériel afin de couvrir l’ensemble de la chaîne compression-optimisation avec des résultats permettant de guider le choix de couples modèles/matériels optimum.

Le travail comprendra une phase d’état de l’art, la mise en place d’expérimentations et l’évaluation des solutions proposées sur des jeux de données représentatifs.

Vous aurez l’opportunité d’être accompagné par des experts et travailler sur l’implémentation concrète de très gros modèles à l’état de l’art.

Actuellement en cours de formation de niveau Bac+5 en IA, informatique embarquée, ou robotique, vous recherchez un stage d’une durée de 6 mois. Vous maîtrisez les algorithmes d’apprentissage automatique, les architectures Transformers et les outils tels que python et pyTorch. Vous connaissez les techniques de quantization et/ou distillation de modèles.

Vous êtes reconnu pour votre bon relationnel, votre rigueur et votre autonomie.

·      Processus de recrutement

o   Échange téléphonique pour vérifier l’adéquation du profil et des aspirations par rapport au poste avec le futur tuteur de stage ;

o   Entretiens sur site ou en visioconférence avec le futur tuteur de stage (prévoir ½ journée).

·      Conditions particulières d’exercice

Le poste nécessitant d’accéder à des informations relevant du secret de la défense nationale, vous ferez l’objet d’une procédure d’habilitation, conformément aux dispositions des articles R.2311-1 et suivants du Code de la défense et de l’IGI n°1300 du 09 août 2021.