Votre rôle est d’effectuer un travail de thèse sur la : “ Séparation de sources par IA générative. Application à des contenus ambisoniques ”
Contexte global et problématique du sujet
Les récents progrès de la reconnaissance automatique de la parole, portés par les avancées en deep learning, ont grandement participé à mettre en avant les services vocaux. Cependant, qui n’a pas été excédé de devoir répéter plusieurs fois la même commande à un assistant domestique tel Alexa ou Google Home ? De fait, la prise de son main-libres se traduit par l’amplification de perturbations liées à l’environnement sonore : bruit, réverbération, interférences. Afin de rendre à la voix son intelligibilité, cela nécessite d’appliquer des techniques de rehaussement comme la séparation de sources permettant de supprimer les interférences.
Dernièrement, les technologies de séparation ont bénéficié de la démocratisation des antennes de microphones : la plupart des tablettes, smartphones, laptops, aides auditives sont équipés de plusieurs microphones,. Ces interfaces multicanales sont en effet plus performantes que les versions mono car elles peuvent tirer parti d’informations spatiales pour séparer les sources.
L’autre élément incontournable de ces dernières années, est l’irruption avec succès du deep learning dans le domaine du traitement du signal audio. Les résultats des derniers challenges de séparation de sources comme Sound Demixing sont tout simplement excellents   (https://www.aicrowd.com/challenges/sound-demixing-challenge-2023) .
Cependant, ces méthodes présentent des limites fondamentales :
i) l’approche discriminative retenue, qui consiste à extraire une source d’un mélange - généralement par application de masques temps-fréquences -, génère des artefacts : résidus d’interférences, voix dégradée
 ii) les réseaux, entraînés de manières supervisées sur des bases de données synthétiques, fonctionnent mal en situations réelles.
Objectif scientifique - résultats et verrous à lever
L’objectif de la thèse consiste à développer des méthodes de séparation de sources audio multicanal qui soient robustes en condition réelle.

Compétences (scientifiques et techniques) et qualités personnelles exigées par le posteMaitrise des techniques d’apprentissage automatique, réseaux de neurones profonds
Maitrise des techniques de traitement du signal, audio.
Connaissances approfondies en Python, Bash etc.
Rigueur et créativité
Notions de propriété intellectuelle
Formation demandée (master, diplôme d’ingénieur, doctorat, domaine scientifique et technique …)Diplôme niveau bac+5 (master, diplôme d’ingénieur, etc.) dans le domaine du traitement du signal ou de l’apprentissage automatique ou de l’acoustique.
Une connaissance du domaine de l’audio est un plus
Expériences souhaitées (stages,projets, TPs …)Expérience en apprentissage automatique, notamment réseaux de neurones profonds (DNN), framework PyTorch/Tensorflow
Expérience en traitement du signal audio ( filtrage, réduction de bruit, codage)