CONTEXTE DE LA MISSION

Nous sommes à la recherche d’un profil pour participer au développement d’applications de gouvernance des modèles de Machine Learning, ainsi qu’à l’évolution de la plateforme de mise à disposition de LLM.
Applications de gouvernance des modèles de AI/ML

Les applications de gouvernance des modèles de ML a pour but d’interroger des ressources Azure Machine Learning, Azure Databricks,
AWS Databricks et AWS Sagemaker pour inventorier les modèles d’IA publiés sur ces ressources, et récupérer des informations et métriques mises à disposition par les équipes les développant.
Une API est exposée pour restituer les données récupérées et permettre à un front de consommer ces datas pour les afficher dans un dashboard, qui permettra le suivi des modèles (mise à jour, utilisation, performance…).
Une seconde application permet elle de récupérer les métriques de performance lors de l’inférence des modèles. Plateforme LLM Hub.
Une plateforme interne héberge et met à disposition des équipes de développement l’accès à des LLMs tels que OpenAI / Mistral / Claude etc … via Azure Openai / AI Foundry, et AWS Bedrock.

La plateforme a pour objectif de centraliser la consommation des modèles, gérer le reporting de consommation des applications et optimiser les coûts via du provisionned throughput.
La plateforme centralise aussi des fonctionnalités clé en main pour faciliter et accélérer le développement de use cases tirant profit de l’IA générative (RAG, Text to SQL, WebSearch…).
Une application de type ChatGPT interne est également hébergée.
En perspective, l’objectif est d’offrir une plateforme de création d’agents, de compléter les outils que ces agents pourront utiliser, continuer d’implémenter des fonctionnalités dans notre application ChatGPT.

OBJECTIFS ET LIVRABLES

Application de gouvernance des modèles de ML
L’équipe devra gérer :

• Le développement / mise à jour / maintenant du code infrastructure Terraform nécessaire dans Azure et / ou AWS, en conformité avec les règles de sécurité et les pratiques internes.
• Les workflows Github pour automatiser les déploiements et scanner le code.
• Le développement / mise à jour / maintenance du code backend permettant de récupérer les datas pertinentes provenant de Azure ML, Databricks ou Sagemaker.
• Le stockage dans une base informations relatives aux modèles inventoriés.
• L’exposition d’une API pour que les datas soient consommées par un front React. Plateforme LLM Hub
• Le développement / mise à jour / maintenance du code backend permettant l’exposition des APIs d’OpenAI et Mistral sur un API Manager centralisé, ainsi que les fonctions permettent le suivi de consommations des applications sur Azure et AWS.
• Le développement de plugins visant à faciliter, optimiser, accélérer le développement des applications dans la Compagnie tirant parti des LLMs.
• Des connaissances React peuvent être nécessaires pour mettre à jour une interface web développée pour gérer une application de chatbot.
• Design des fonctionnalités complémentaires à intégrer dans la plateforme pour répondre et anticiper les besoins des utilisateurs (plateforme de création d’agents, prompts library, guardrails, chatbot low code, packaging prêt à l’emploi à intégrer dans le code de nos users …).
• Veille technologique sur les nouvelles solutions de LLM et leur intégration dans la plateforme.
• Développeur / Solution Designer GenAI
• Identifier les solutions répondant à la stratégie GenAI et aux besoin des use cases métier.
• Test / PoC de solutions pour valider la valeur et le choix de solutions et designs techniques.
• Participer aux développements des évolutions des produits de la plateforme.

DES SOLIDES COMPÉTENCES SONT NÉCESSAIRES POUR:

• SDK et Frameworks python / standards utiles pour des use cases GenAI (Azure OpenAI SDK, OpenAI SDK, Langchain, MLflow, MCP, FastAPI…)
• Utilisation et Gestion d’un environnement Azure : AI Foundry, OpenAI, AI Search, Azure API Manager, Azure Function / Azure App Service, CosmosDB, Storage (blob, queue), Event Hub, Authentification EntraID avec Service Principal.
• Déploiements de code avec des workflows Github

NIVEAU DE COMPÉTENCE :

Azure, API, Python, AWS : Confirmé
GenAI : Expert