Projet personnel, brief fictif

Tilt · Intégration d'un LLM

Rendre fiable une réponse chiffrée produite par un LLM

Cas concret : l'assistant de remboursement d'une mutuelle, en ligne.

L'enjeu
Un LLM peut se tromper sur un calcul ou inventer une garantie. Ici, chaque chiffre engage de l'argent.
Mon rôle
Architecture, prompt, code, design et évaluation.
Stack
API Claude (sortie structurée, cache de prompt), PHP, JavaScript

Le prototype fonctionne : vous pouvez y poser vos propres questions.

Essayer Tilt
Trois écrans du parcours Tilt sur téléphone. L'accueil de l'espace adhérent avec le champ « Combien je serai remboursée ? » et des raccourcis comme « Lunettes à 450 € ». La réponse de Tilt : 250 € remboursés, 200 € à payer, avec le détail du calcul. Puis l'article 5.2 du contrat, ouvert dans une feuille, avec le passage cité surligné.
Le parcours en trois écrans : la question posée depuis l'accueil, le chiffre avec son calcul, puis l'article du contrat qui le justifie, passage surligné.

Le cas d'usage

Combien je serai remboursée ?

Les contrats de mutuelle parlent en pourcentages, forfaits et plafonds. Personne ne sait les traduire en euros.

Dylan, interviewé, découvre le prix de ses lunettes chez l'opticien. ChatGPT ne connaît pas son contrat, il ne trouve pas ses garanties. Il repart sans lunettes.

Deux entretiens, trois services analysés (Malakoff Humanis, SoBot, Alan) : aucun ne donne de chiffre au bon moment.

« Ça dépend sur quoi. »Chantal, sur la confiance qu'elle accorderait à un chiffre donné par une IA
« Si ChatGPT me confirme que c'est vrai. »Dylan, sur ce qui le ferait croire un chiffre

Les décisions d'interface

  • Un champ en tête de l'accueil, pas une bulle de chat : l'assistant se trouve au moment du prix.
  • Le chiffre d'abord, avec la part couverte en barre et le détail du calcul.
  • La source en un geste : l'article s'ouvre dans une feuille, passage surligné.
  • Quatre niveaux de certitude, du « Réponse sûre » au « Non couvert ».
  • Un non aussi utile qu'un oui : ce qui reste possible, comme l'option 100 % Santé.
  • Une IA annoncée, une humaine identifiable : quand Tilt passe la main, la conseillère reçoit le calcul et la source. Personne ne repose les questions.

L'enjeu

Un LLM comprend bien, mais compte mal

Le projet en 40 secondes : Dylan devant le prix de ses lunettes, le chiffre donné par Tilt, une couronne en carence, puis le relais vers une conseillère.

Un modèle de langage comprend une question posée en langage courant. Mais il peut se tromper sur un calcul, ou affirmer une garantie qui n'existe pas.

Dans une mutuelle, chaque chiffre engage l'argent de l'adhérente. Trois exigences en découlent :

  • Le chiffre ne peut pas être faux.
  • La source doit être visible et vérifiable.
  • Quand l'assistant ne sait pas, il le dit et propose une suite.

L'architecture

Un relais entre la page et le modèle

Le téléphonela page web
Le relaisun fichier PHP, sur mon serveur
Claudel'API du modèle
1Lunettes à 450 €
2Ajoute la clé d'API, le prompt, le contrat et la fiche de Léa
3question + dossier complet
4Repère le poste, le prix et l'article 5.2
5réponse en JSON
6Vérifie que la citation existe dans le contrat
7réponse vérifiée
8Calcule : 250 € remboursés, 200 € à payer
La clé, le prompt et le contrat ne quittent jamais le serveur
Le téléphone n'envoie que la question. Le relais garde la clé d'API (dans la page, n'importe qui pourrait s'en servir), ajoute le contexte et contrôle la réponse de Claude avant de la renvoyer.

Le relais tient dans un seul fichier PHP. J'avais d'abord prévu n8n : sans instance externe, le circuit se lit et se maintient plus facilement.

Tout le contrat dans le prompt

Le contrat fait quelques pages : il tient en entier dans le contexte. Pas besoin de RAG, donc ni découpage ni recherche à régler.

Le contrat Confort

En entier, quelques pages. Placé en tête.

en cache

Les consignes

Rôle, ton, règles, format de réponse, trois exemples

Fixeidentique pour toutes les adhérentes

La fiche de Léa

Formule, date d'adhésion, séances déjà utilisées

Personnelpropre à l'adhérente

La conversation

Les 12 derniers messages au plus

La question

500 caractères au plus

Variablechange à chaque échange
Claude lit tout, à chaque fois
La partie fixe est mise en cache : chaque appel est plus rapide et moins cher.

Modèle et code

Remplacer une phrase par des données

Claude transforme une phrase en données, le code fait l'arithmétique et vérifie la carence avec la fiche de l'adhérente. Dans son texte, Claude n'écrit que des chiffres présents tels quels dans le contrat : un forfait, un taux, une date.

Mes lunettes coûtent 450 €, combien je serai remboursée ?
texte libre

Claude

Comprend

poste
optique
dépense
450
article
5.2
citation
« … Forfait 250 € »
JSON

Le code de la page

Compte

Forfait 5.2250,00 €
dont Sécu0,09 €
dont Tilt249,91 €
Reste à payer200,00 €
montants
250 € remboursés. Il te reste 200 € à payer.

Raccourci interdit par le prompt : Claude n'écrit jamais un montant qu'il aurait calculé lui-même

Réponse structurée

Chaque réponse est un état d'interface

Claude répond en JSON, selon un schéma imposé par l'API. La page reçoit toujours les mêmes champs : elle ne peut pas planter sur une réponse mal formée.

{
1"type": "chiffre",
2"poste": "optique",
2"depense": 450,
3"message": "Ton forfait couvre des lunettes à tarif libre…",
4"alternatives": ["Avec des lunettes 100 % Santé, tu ne paies rien…"],
5"article": "5.2",
5"citation": "Équipement à tarif libre (classe B), verres simples, monture comprise : Forfait 250 €",
"question": null, "resume_relais": nullvides : rien à afficher
}
1
Réponse sûretype → l'état de la carte
2
250 €
remboursés. Il te reste 200 € à payer.
poste + depense → calcul par la page
3
Ton forfait couvre des lunettes à tarif libre, monture comprise, et il inclut déjà la part de la Sécu.
4
Avec des lunettes 100 % Santé, tu ne paies rien. L'opticien doit t'en proposer.
5
article + citation → la source surlignée
Une réponse relevée sur le prototype, simplifiée. Le format impose aussi des limites : deux phrases de message, deux alternatives, une seule question. Un champ vide est une réponse valable : la page n'affiche rien à sa place.

Le champ type décide de l'affichage. Sept valeurs, sept états prévus dans les maquettes, y compris « non » et « je ne sais pas encore ».

TypeCe que voit l'adhérente
chiffreCarte avec le montant remboursé, le reste à payer et le détail du calcul. Étiquette « Réponse sûre ». Pendant une carence, étiquette « Pas encore couvert » et montant après la carence.
estimationÉtiquette « Estimation » en pointillé avec ≈, et une seule question : le prix. Une fois le prix donné, le chiffre devient sûr.
precisionTexte simple et une question qui débloque le chiffre.
infoRéponse sans montant fondée sur un article (une règle, une carence), avec sa source.
non_couvertÉtiquette « Non couvert », réponse franche et ce qui reste possible.
hors_sujetUne phrase, puis ce que Tilt sait faire.
relaisLe résumé de la demande, prérempli pour une conseillère.

Citation vérifiée

Aucune source affichée sans vérification

Claude

Recopie le passage du contrat sur lequel repose sa réponse
citation

Le relais

Cherche ce passage, mot pour mot, dans le contrat
Trouvé
Article 5.2 · Optique
5.2Équipement à tarif libre (classe B), verres simples, monture comprise : Forfait 250 €
Passage retrouvé dans ton contrat.

L'adhérente voit le passage exact, surligné dans l'article.

Introuvable
Article cité
Pas de surlignage inventé : la feuille dit que le passage n'a pas été retrouvé.
journal · citation introuvable

Cas réel en test (prompt v0.4) : Claude avait ajouté « Confort » devant un taux. Le passage n'existait plus mot pour mot, le relais l'a signalé, la v0.5 a précisé les règles.

Pouvoir vérifier soi-même : c'est la condition de confiance relevée en recherche. Le relais ne croit donc pas Claude sur parole.

Garde-fous

Prêt pour un usage public

  • Limites d'usage : 30 questions par heure et par visiteur, 300 par jour, 500 caractères par question, 12 messages d'historique.
  • Surface minimale : seul le relais est exposé. Le contrat et le prompt ne sont pas accessibles depuis le web.
  • Erreurs : un message clair et un bouton « Réessayer », sans perdre la conversation.
  • Attente : pas de streaming, mais un état de chargement explicite.

Évaluation

Un prompt testé comme un produit

Le prompt est une spécification : rôle, ton, règles, format de réponse et trois exemples. Chaque règle donne sa raison, et le modèle l'applique mieux.

Tu réponds à partir du contrat et de la fiche de l'adhérent, et de rien d'autre. Si une garantie n'y figure pas, tu dis qu'elle n'est pas couverte.Règle 1. L'adhérent va prendre une décision d'argent sur ta réponse : une garantie inventée lui coûterait cher, et ferait perdre toute confiance dans Tilt.
Tu donnes ce que tu sais déjà, puis tu poses une seule question, celle qui débloque le chiffre.Règle 4. Chaque question en plus est une raison de quitter la conversation.
Tu donnes d'abord tout ce que tu sais, puis tu proposes de passer le relais à une conseillère.Règle 7. Tu rédiges alors un résumé qui lui évite de reposer les questions.
La page affiche déjà le montant et le détail du calcul : tu ne les répètes pas.Règle 8. Sur un téléphone, chaque ligne en trop éloigne la réponse.

Cinq versions. Chaque question type passée deux fois, chaque réponse vérifiée contre le contrat.

Dès la v0.4 : aucune garantie inventée, aucun chiffre faux. La v0.5 a stabilisé un type de réponse et corrigé une citation réécrite. Résultat : 14 sur 14.

Ce que la production a appris

Un schéma JSON refusé par l'API (un champ « liste ou rien »), puis des réponses coupées net. Limite de longueur doublée, prompt resserré.