Testen Sie, ob Ihr Website-KI-Assistent nützliche Antworten gibt
„Sieht gut aus“ ist kein wiederholbarer Abnahmetest. Eine nützliche Antwort muss auf die Frage eingehen, im Rahmen der freigegebenen Quelle bleiben, wichtige Bedingungen bewahren und dem Besucher helfen, sie zu überprüfen oder weiterzukommen.
Erstellen Sie das Testblatt vor dem Start und behalten Sie es für Regressionsprüfungen.
Bilden Sie fünf Fragegruppen
- Direkte Fakten: Eine aktuelle Seite enthält die Antwort.
- Seitenübergreifende Aufgaben: Zwei kompatible Quellen werden benötigt.
- Abweichende Begriffe: Besucher verwenden einen Begriff, der nicht im Seitentitel vorkommt.
- Mehrdeutige Fragen: Eine Rückfrage ist nötig.
- Nicht unterstützte Anfragen: Keine freigegebene Quelle enthält die Antwort.
Verwenden Sie, wo möglich, echte Formulierungen aus Support, Vertrieb, Website-Suche oder Onboarding.
Halten Sie ein erwartetes Ergebnis fest
| Feld | Beispiel |
|---|---|
| Frage | „Wo erlaube ich meine Produktionsdomain?“ |
| Erwartete Quelle | Dokumentation zur Sicherheit des Assistenten |
| Erforderliche Angaben | Security öffnen; exakte Domain unter den erlaubten Origins hinzufügen |
| Wichtige Bedingung | Der Platzhalter sollte vor dem Start eingegrenzt werden |
| Unzulässige Aussage | Eine Origin nicht als Nutzerauthentifizierung beschreiben |
| Erwarteter nächster Schritt | Speichern und die Einbindung testen |
| Ergebnis | Bestanden, teilweise oder nicht bestanden, mit Anmerkung |
So geht es bei der Prüfung um Belege statt um Formulierungsvorlieben.
Bewerten Sie die Antwort
Verwenden Sie ein einfaches Raster von 0 bis 2:
| Kriterium | 0 | 1 | 2 |
|---|---|---|---|
| Geht auf die Frage ein | Verfehlt sie | Beantwortet sie teilweise | Beantwortet sie direkt |
| Quellenbeleg | Nicht belegt | Quelle ist verwandt | Jede wesentliche Aussage ist belegt |
| Vollständigkeit | Lässt eine kritische Bedingung aus | Kleine Auslassung | Bewahrt die erforderlichen Bedingungen |
| Fallback | Erfindet eine Antwort | Vager Hinweis auf die Grenze | Klarer Hinweis und nächster Schritt |
| Quellenangabe | Fehlt oder ist falsch | Nützlich, aber unvollständig | Öffnet die belegende Quelle |
| Klarheit | Schwer verständlich | Verständlich | Knapp und handlungsorientiert |
Legen Sie die Bestehensschwelle nach Risiko fest. Eine Antwort zu einer technischen Grenze oder Richtlinie kann vollständigen Quellenbeleg und Vollständigkeit erfordern, auch wenn die Gesamtpunktzahl akzeptabel aussieht.
Analysieren Sie Fehler nach Stufe
- Durchsuchen Sie den Datensatz nach der erwarteten Angabe.
- Prüfen Sie, ob der Abruf die richtige Quelle ausgewählt hat.
- Vergleichen Sie jede Aussage mit dieser Quelle.
- Prüfen Sie Antwortanweisungen und Fallback-Verhalten.
- Suchen Sie nach widersprüchlichen Seiten.
- Bestätigen Sie, dass die Quelle aktuell ist.
Ändern Sie jeweils nur eine Stufe und stellen Sie die fehlgeschlagene Frage erneut. Andernfalls verbessern Sie vielleicht ein Beispiel und verdecken dabei die eigentliche Ursache.
Halten Sie Ergebnisse vergleichbar
Notieren Sie Datum, Datensatzversion oder Erfassung, Konfiguration des Assistenten und eine Anmerkung des Prüfers. Stellen Sie dieselben kritischen Fragen nach Änderungen an Inhalten und Konfiguration erneut.
Ein Testsatz garantiert nicht, dass jede künftige Frage besteht. Er gibt dem Team eine stabile Methode, Regressionen zu erkennen und die Antwortqualität anhand von Belegen zu besprechen.