Riduci le allucinazioni di un assistente IA sul sito
Una risposta non supportata può nascere in diversi punti. La fonte può mancare, il recupero può selezionare la pagina sbagliata, due pagine possono essere in conflitto oppure la risposta può aggiungere un’affermazione che i passaggi non sostengono.
Tratta l’"allucinazione" come una diagnosi da approfondire, non come un’unica impostazione da disattivare.
Classifica l’errore
| Errore | Evidenza | Soluzione adeguata |
|---|---|---|
| Fonte mancante | La ricerca nel dataset non trova testo a supporto | Aggiungi o migliora la pagina autorevole |
| Fonte obsoleta | Il dataset contiene una versione precedente | Aggiorna o sostituisci la fonte |
| Fonti in conflitto | Due pagine indicizzate riportano informazioni diverse | Risolvi il conflitto o escludi la fonte obsoleta |
| Recupero mancato | La fonte corretta esiste ma non viene selezionata | Migliora ambito, formulazione dei contenuti, tag o impostazioni di recupero |
| Sintesi non supportata | Compaiono schede delle fonti che però non sostengono l’affermazione | Rendi più rigide le regole di risposta e il fallback |
| Domanda fuori ambito | Nessuna fonte approvata dovrebbe rispondere | Declina e indica il passaggio successivo corretto |
Non iniziare riscrivendo il prompt quando la fonte è assente.
Mantieni il dataset mirato
Rimuovi materiale duplicato, privato, non pertinente e obsoleto. Usa percorsi inclusi ed esclusi, così un’acquisizione pubblica del sito non raccoglie pagine dell’account, vecchie campagne e copie d’archivio.
Per dataset piccoli e curati, Seekdown può usare l’intero contenuto del dataset come contesto. Per dataset più grandi, la modalità di ricerca predefinita recupera i contenuti corrispondenti. Il massimo predefinito documentato è di 10 risultati; modificarlo può ampliare o restringere il contesto, ma va testato con un set di domande.
Rendi visibili le fonti durante la revisione
Mantieni attiva l’opzione Show highlighted results durante i test, così ogni risposta mostra le sue schede di riferimento.
Per ogni affermazione sostanziale, apri la fonte citata e individua il testo che la sostiene. Una citazione è un’evidenza diagnostica solo quando sostiene davvero la risposta.
Definisci un fallback prudente
Indica cosa deve fare l’assistente quando le fonti selezionate non rispondono a una domanda. Un comportamento adeguato può essere dire che l’informazione non è disponibile, chiedere un contesto chiarificatore, linkare una pagina pertinente o indirizzare il visitatore a una persona.
Evita istruzioni che premiano la risposta a ogni domanda. La completezza non è utile quando la fonte tace.
Mantieni un set di regressione
Includi informazioni note, domande che coinvolgono più pagine, formulazioni ambigue, conflitti tra fonti e richieste non supportate. Registra la fonte prevista e le affermazioni vietate.
Ripeti quel set dopo modifiche a contenuti sorgente, ambito di acquisizione, collegamenti ai dataset, impostazioni di recupero o istruzioni di risposta. L’obiettivo non è promettere zero allucinazioni; è avere un processo controllato che individua e riduce le risposte non supportate.