Regarder une scène dans un casque de VR implique de produire un modèle 3D de la scène. Les scènes synthétiques sont créées par des artistes et prennent généralement la forme de maillages et d’artefacts graphiques 3D. Produire un modèle 3D d’une scène réelle est beaucoup plus difficile et en est encore au stade de la recherche.
Cependant, les progrès réalisés ces dernières années ont été remarquables, et la famille d’algorithmes à la pointe de la technologie (basée sur [1] 3d gaussian splatting, ou 3DGS) parvient à produire un modèle satisfaisant à partir d’un nombre raisonnable d’images d’entrée.
 Selon la technologie citée, un modèle 3D est produit par machine learning, par différence entre l’apparence de ce modèle projeté en 2D et des photos de la scène réelle. Ce procédé permet fonctionne d’autant mieux que les points constituant la scène ont la même couleur quel que soit le point de vue. Dans les cas réels, la couleur d’une surface peut dépendre de l’angle sous lequel on la voit, on parle de spécularité. Les cas les plus typiques sont les surfaces métalliques. La solution utilisée par 3DGS pour prendre en compte les spécularités est l’utilisation d’harmoniques sphériques.Les modèles de BRDF (Bidirectional Reflectance Distribution Function), très utilisés dans le domaine des Computer Graphics, sont beaucoup plus puissants pour représenter les surfaces spéculaires, mais nécessitent la connaissance de la normale à la surface. Le sujet de ce stage est d’étudier ce que la connaissance des normales permettrait d’améliorer pour la prise en compte des surfaces spéculaires dans un modèle 3D de type 3DGS.Chez Orange Innovation, le stage se déroulera au sein d’une équipe pluridisciplinaire, avec des experts en machine learning et en reconstruction vidéo 3D.
La mission de ce stage est d’entraîner à partir d’un ensemble de photos un modèle représentant une scène dont certaines surfaces sont spéculaires (avec reflets). Le modèle sera modifié pour utiliser une information de normales connue a priori, pour identifier le potentiel d’amélioration apporté par cette information.
Activités principales :
1. Lire la documentation sur le 3d gaussian splatting et les modèles dérivés évaluant les normales aux surfaces
2. Produire un modèle a l’état de l’art sur la base de photos d’une scène réelle
3. Décider du modèle à mettre en place pour gérer les spécularités
4. Mettre en oeuvre le modèle discuté, le tester et l’améliorer de manière incrémentale.

Formation souhaitée
 dernière année d’école d’ingénieur ou de master

Pré-requis techniques :
 Connaissances en développement in python et / ou C++
 Compétences pointues et appétence pour les mathématiques
 Culture sur les techniques d’entraînement d’IA

Aptitudes personnelles :
  you speak (read!) English
  vous aimez vous heurter à des problèmes complexes
vous voulez travailler dans un domaine d’évolution rapide, ou tout peut être remis en cause à chaque instant

References :
[1] Kerbl, B., Kopanas, G., Leimkühler, T., & Drettakis, G. (2023). 3d gaussian splatting for real-time radiance field rendering https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/