Vérifiez si l’assistant IA de votre site donne des réponses utiles
« Ça a l’air bien » n’est pas un test d’acceptation reproductible. Une réponse utile doit traiter la question, rester dans les limites de la source approuvée, conserver les conditions importantes et aider le visiteur à vérifier ou à poursuivre.
Créez la fiche de test avant le lancement et conservez-la pour les contrôles de non-régression.
Créez cinq groupes de questions
- Informations directes : une page à jour contient la réponse.
- Tâches sur plusieurs pages : deux sources compatibles sont nécessaires.
- Différences de vocabulaire : les visiteurs utilisent un terme absent du titre de la page.
- Questions ambiguës : une clarification est nécessaire.
- Demandes non couvertes : aucune source approuvée ne contient la réponse.
Utilisez autant que possible des formulations réelles issues du support, des ventes, de la recherche interne du site ou de l’onboarding.
Consignez un résultat attendu
| Champ | Exemple |
|---|---|
| Question | « Où dois-je autoriser mon domaine de production ? » |
| Source attendue | Documentation sur la sécurité de l’assistant |
| Informations requises | Ouvrir Security ; ajouter le domaine exact dans les origines autorisées |
| Condition importante | Le caractère générique doit être restreint avant le lancement |
| Affirmation interdite | Ne pas présenter une origine comme une authentification des utilisateurs |
| Étape suivante attendue | Enregistrer et tester l’intégration |
| Résultat | Réussi, partiel ou échoué, avec une remarque |
Ainsi, la vérification porte sur des preuves plutôt que sur des préférences rédactionnelles.
Notez la réponse
Utilisez une grille simple de 0 à 2 :
| Critère | 0 | 1 | 2 |
|---|---|---|---|
| Traite la question | La manque | Répond en partie | Répond directement |
| Appui sur les sources | Non étayée | La source est liée | Chaque affirmation importante est étayée |
| Exhaustivité | Omet une condition essentielle | Omission mineure | Conserve les conditions requises |
| Repli | Invente une réponse | Limitation vague | Limitation claire et étape suivante |
| Citation | Absente ou erronée | Utile mais incomplète | Ouvre la source qui étaye la réponse |
| Clarté | Difficile à suivre | Compréhensible | Concise et actionnable |
Fixez le seuil de réussite en fonction du risque. Une réponse portant sur une limite technique ou une politique peut exiger un appui complet sur les sources et une exhaustivité totale, même si le score global semble acceptable.
Diagnostiquez les échecs étape par étape
- Recherchez l’information attendue dans le jeu de données.
- Vérifiez si la recherche a sélectionné la bonne source.
- Comparez chaque affirmation avec cette source.
- Vérifiez les instructions de réponse et le comportement de repli.
- Recherchez les pages contradictoires.
- Confirmez que la source est à jour.
Modifiez une seule étape à la fois et relancez la question qui a échoué. Sinon, vous risquez d’améliorer un exemple tout en masquant la cause d’origine.
Gardez des résultats comparables
Consignez la date, la version ou la capture du jeu de données, la configuration de l’assistant et la remarque du relecteur. Relancez les mêmes questions critiques après chaque modification du contenu ou de la configuration.
Un jeu de tests ne garantit pas que toutes les questions futures réussiront. Il donne à l’équipe un moyen stable de détecter les régressions et de discuter de la qualité des réponses sur la base de preuves.