Verifica se l’assistente IA del tuo sito dà risposte utili
"Sembra a posto" non è un test di accettazione ripetibile. Una risposta utile deve affrontare la domanda, restare entro la fonte approvata, conservare le condizioni importanti e aiutare il visitatore a verificare o proseguire.
Prepara la scheda di test prima del lancio e conservala per i controlli di regressione.
Crea cinque gruppi di domande
- Informazioni dirette: una pagina attuale contiene la risposta.
- Compiti su più pagine: servono due fonti compatibili.
- Differenze di vocabolario: i visitatori usano un termine assente dal titolo della pagina.
- Domande ambigue: serve un chiarimento.
- Richieste non supportate: nessuna fonte approvata contiene la risposta.
Usa formulazioni reali provenienti da supporto, vendite, ricerca interna del sito o onboarding, quando disponibili.
Registra un risultato atteso
| Campo | Esempio |
|---|---|
| Domanda | "Dove autorizzo il mio dominio di produzione?" |
| Fonte prevista | Documentazione sulla sicurezza dell’assistente |
| Informazioni richieste | Apri Security; aggiungi il dominio esatto tra le origini consentite |
| Condizione importante | Il carattere jolly va ristretto prima del lancio |
| Affermazione vietata | Non descrivere un’origine come autenticazione degli utenti |
| Passaggio successivo atteso | Salva e testa l’integrazione |
| Risultato | Superato, parziale o non superato, con una nota |
Così la revisione si basa sulle evidenze e non sulle preferenze di scrittura.
Assegna un punteggio alla risposta
Usa una semplice griglia da 0 a 2:
| Criterio | 0 | 1 | 2 |
|---|---|---|---|
| Risponde alla domanda | La manca | Risponde in parte | Risponde direttamente |
| Supporto delle fonti | Non supportata | La fonte è correlata | Ogni affermazione sostanziale è supportata |
| Completezza | Omette una condizione critica | Omissione minore | Conserva le condizioni richieste |
| Fallback | Inventa una risposta | Limitazione vaga | Limitazione chiara e passaggio successivo |
| Citazione | Mancante o errata | Utile ma incompleta | Apre la fonte di supporto |
| Chiarezza | Difficile da seguire | Comprensibile | Concisa e operativa |
Stabilisci la soglia di superamento in base al rischio. Una risposta su un limite tecnico o su una policy può richiedere supporto completo delle fonti e completezza, anche se il punteggio totale sembra accettabile.
Diagnostica gli errori per fase
- Cerca nel dataset l’informazione attesa.
- Verifica se il recupero ha selezionato la fonte corretta.
- Confronta ogni affermazione con quella fonte.
- Controlla le istruzioni di risposta e il comportamento di fallback.
- Cerca pagine in conflitto.
- Verifica che la fonte sia aggiornata.
Modifica una fase alla volta e ripeti la domanda fallita. Altrimenti rischi di migliorare un esempio nascondendo la causa originale.
Mantieni i risultati confrontabili
Registra la data, la versione del dataset o dell’acquisizione, la configurazione dell’assistente e la nota del revisore. Ripeti le stesse domande critiche dopo ogni modifica ai contenuti e alla configurazione.
Un set di test non garantisce che ogni domanda futura venga superata. Offre al team un modo stabile per rilevare regressioni e discutere la qualità delle risposte sulla base di evidenze.