Tilt · Intégration d'un LLM
Rendre fiable une réponse chiffrée produite par un LLM
Cas concret : l'assistant de remboursement d'une mutuelle, en ligne.
- L'enjeu
- Un LLM peut se tromper sur un calcul ou inventer une garantie. Ici, chaque chiffre engage de l'argent.
- Mon rôle
- Architecture, prompt, code, design et évaluation.
- Stack
- API Claude (sortie structurée, cache de prompt), PHP, JavaScript
Le prototype fonctionne : vous pouvez y poser vos propres questions.
Essayer Tilt
Le cas d'usage
Combien je serai remboursée ?
Les contrats de mutuelle parlent en pourcentages, forfaits et plafonds. Personne ne sait les traduire en euros.
Dylan, interviewé, découvre le prix de ses lunettes chez l'opticien. ChatGPT ne connaît pas son contrat, il ne trouve pas ses garanties. Il repart sans lunettes.
Deux entretiens, trois services analysés (Malakoff Humanis, SoBot, Alan) : aucun ne donne de chiffre au bon moment.
« Ça dépend sur quoi. »Chantal, sur la confiance qu'elle accorderait à un chiffre donné par une IA
« Si ChatGPT me confirme que c'est vrai. »Dylan, sur ce qui le ferait croire un chiffre
Les décisions d'interface
- Un champ en tête de l'accueil, pas une bulle de chat : l'assistant se trouve au moment du prix.
- Le chiffre d'abord, avec la part couverte en barre et le détail du calcul.
- La source en un geste : l'article s'ouvre dans une feuille, passage surligné.
- Quatre niveaux de certitude, du « Réponse sûre » au « Non couvert ».
- Un non aussi utile qu'un oui : ce qui reste possible, comme l'option 100 % Santé.
- Une IA annoncée, une humaine identifiable : quand Tilt passe la main, la conseillère reçoit le calcul et la source. Personne ne repose les questions.
L'enjeu
Un LLM comprend bien, mais compte mal
Un modèle de langage comprend une question posée en langage courant. Mais il peut se tromper sur un calcul, ou affirmer une garantie qui n'existe pas.
Dans une mutuelle, chaque chiffre engage l'argent de l'adhérente. Trois exigences en découlent :
- Le chiffre ne peut pas être faux.
- La source doit être visible et vérifiable.
- Quand l'assistant ne sait pas, il le dit et propose une suite.
L'architecture
Un relais entre la page et le modèle
Le relais tient dans un seul fichier PHP. J'avais d'abord prévu n8n : sans instance externe, le circuit se lit et se maintient plus facilement.
Tout le contrat dans le prompt
Le contrat fait quelques pages : il tient en entier dans le contexte. Pas besoin de RAG, donc ni découpage ni recherche à régler.
Le contrat Confort
En entier, quelques pages. Placé en tête.
Les consignes
Rôle, ton, règles, format de réponse, trois exemples
La fiche de Léa
Formule, date d'adhésion, séances déjà utilisées
La conversation
Les 12 derniers messages au plus
La question
500 caractères au plus
Modèle et code
Remplacer une phrase par des données
Claude transforme une phrase en données, le code fait l'arithmétique et vérifie la carence avec la fiche de l'adhérente. Dans son texte, Claude n'écrit que des chiffres présents tels quels dans le contrat : un forfait, un taux, une date.
Claude
Comprend
- poste
- optique
- dépense
- 450
- article
- 5.2
- citation
- « … Forfait 250 € »
Le code de la page
Compte
Raccourci interdit par le prompt : Claude n'écrit jamais un montant qu'il aurait calculé lui-même
Réponse structurée
Chaque réponse est un état d'interface
Claude répond en JSON, selon un schéma imposé par l'API. La page reçoit toujours les mêmes champs : elle ne peut pas planter sur une réponse mal formée.
Le champ type décide de l'affichage. Sept valeurs, sept états prévus dans les maquettes, y compris « non » et « je ne sais pas encore ».
| Type | Ce que voit l'adhérente |
|---|---|
chiffre | Carte avec le montant remboursé, le reste à payer et le détail du calcul. Étiquette « Réponse sûre ». Pendant une carence, étiquette « Pas encore couvert » et montant après la carence. |
estimation | Étiquette « Estimation » en pointillé avec ≈, et une seule question : le prix. Une fois le prix donné, le chiffre devient sûr. |
precision | Texte simple et une question qui débloque le chiffre. |
info | Réponse sans montant fondée sur un article (une règle, une carence), avec sa source. |
non_couvert | Étiquette « Non couvert », réponse franche et ce qui reste possible. |
hors_sujet | Une phrase, puis ce que Tilt sait faire. |
relais | Le résumé de la demande, prérempli pour une conseillère. |
Citation vérifiée
Aucune source affichée sans vérification
Claude
Recopie le passage du contrat sur lequel repose sa réponseLe relais
Cherche ce passage, mot pour mot, dans le contratArticle 5.2 · Optique
L'adhérente voit le passage exact, surligné dans l'article.
Article cité
Cas réel en test (prompt v0.4) : Claude avait ajouté « Confort » devant un taux. Le passage n'existait plus mot pour mot, le relais l'a signalé, la v0.5 a précisé les règles.
Garde-fous
Prêt pour un usage public
- Limites d'usage : 30 questions par heure et par visiteur, 300 par jour, 500 caractères par question, 12 messages d'historique.
- Surface minimale : seul le relais est exposé. Le contrat et le prompt ne sont pas accessibles depuis le web.
- Erreurs : un message clair et un bouton « Réessayer », sans perdre la conversation.
- Attente : pas de streaming, mais un état de chargement explicite.
Évaluation
Un prompt testé comme un produit
Le prompt est une spécification : rôle, ton, règles, format de réponse et trois exemples. Chaque règle donne sa raison, et le modèle l'applique mieux.
Tu réponds à partir du contrat et de la fiche de l'adhérent, et de rien d'autre. Si une garantie n'y figure pas, tu dis qu'elle n'est pas couverte.Règle 1. L'adhérent va prendre une décision d'argent sur ta réponse : une garantie inventée lui coûterait cher, et ferait perdre toute confiance dans Tilt.
Tu donnes ce que tu sais déjà, puis tu poses une seule question, celle qui débloque le chiffre.Règle 4. Chaque question en plus est une raison de quitter la conversation.
Tu donnes d'abord tout ce que tu sais, puis tu proposes de passer le relais à une conseillère.Règle 7. Tu rédiges alors un résumé qui lui évite de reposer les questions.
La page affiche déjà le montant et le détail du calcul : tu ne les répètes pas.Règle 8. Sur un téléphone, chaque ligne en trop éloigne la réponse.
Cinq versions. Chaque question type passée deux fois, chaque réponse vérifiée contre le contrat.
Dès la v0.4 : aucune garantie inventée, aucun chiffre faux. La v0.5 a stabilisé un type de réponse et corrigé une citation réécrite. Résultat : 14 sur 14.
Ce que la production a appris
Un schéma JSON refusé par l'API (un champ « liste ou rien »), puis des réponses coupées net. Limite de longueur doublée, prompt resserré.