AI Product Specialist (H/F/Nb) lesfurets

En tant que AI Product Specialist, vous êtes responsable de la qualité et de la performance de nos agents IA en production. Votre mission : faire en sorte que ce que nos agents répondent à nos clients soit juste, utile et fiable, et étendre ces agents à de nouvelles lignes d’assurance, dans un contexte exigeant : données sensibles et marché réglementé.

Vous évoluez au sein de l’équipe Produit, en binôme étroit avec le senior software engineer de l’équipe IA, qui construit le socle technique et l’architecture de nos agents. Il construit et intègre, vous améliorez et garantissez la qualité de ce qui est livré. Vous faites aussi de l’IA une compétence partagée dans l’équipe.

Missions

Améliorer la qualité et la performance de nos agents IA

• Itération sur les prompts : concevoir, tester et améliorer les prompts, le contexte fourni et les garde-fous de nos agents, avec une démarche d’expérimentation rigoureuse et mesurée.

• Optimisation du RAG : analyser et améliorer la pertinence des informations récupérées et du contexte fourni aux agents, afin de garantir des réponses fiables, précises et fondées sur les bonnes sources.

• Analyse des conversations : exploiter les traces de nos agents (via LangSmith) pour comprendre ce qui fonctionne, ce qui échoue et pourquoi, du point de vue du client.

• Jeux de tests et critères de qualité : construire et faire évoluer les jeux de tests et les évaluateurs automatisés (notamment LLM-as-a-Judge) pour mesurer objectivement la qualité des réponses, identifier les axes d’amélioration et détecter les régressions.

• Suivi de la qualité : définir et suivre les indicateurs de qualité de nos agents (exactitude, pertinence, satisfaction etc), et animer des revues régulières.

• Gestion de l’incertitude : définir avec les équipes concernées les cas où l’agent doit s’abstenir ou passer la main à un humain, et les cas critiques à ne jamais manquer.

Étendre nos agents à de nouveaux périmètres

• Nouvelles lignes d’assurance : préparer l’extension de nos agents à de nouveaux produits. Exemple concret : passer de l’agent qui répond aux questions de nos clients en assurance auto à l’assurance santé, puis à d’autres lignes (moto, emprunteur, MRH).

• Connaissance métier : travailler avec les experts métier pour fournir les contenus, les cas d’usage et les cas limites propres à chaque périmètre.

• Critères de mise en production : définir les critères de qualité à atteindre avant chaque ouverture, et s’assurer qu’ils sont respectés.

• Ouverture progressive : accompagner les phases pilotes (mode shadow, ouverture progressive) et analyser les résultats pour décider de la suite.

Diffuser la compétence IA dans l’équipe

• Transmission : former l’équipe Produit à lire les conversations, comprendre les évaluations et itérer sur les prompts, pour que cette compétence ne repose pas sur une seule personne.

• Documentation : documenter les bonnes pratiques, les jeux de tests et les décisions, pour qu’elles soient réutilisables.

Travailler au cœur d’une équipe

• Binôme avec la Tech : travailler au quotidien avec le senior software engineer de l’équipe IA.

• Partenaire du Produit et des métiers : collaborer avec les PM et les équipes commerciales et marketing.

• Conformité : respecter notre gouvernance IA et la réglementation applicable (RGPD, AI Act, devoir de conseil).