Was Sie nach der Einführung eines KI-Chatbots auf Ihrer Website messen sollten
Der Start zeigt Ihnen, dass der Chatbot lädt. Er zeigt Ihnen nicht, ob Besucher nützliche Fragen stellen, belegte Antworten erhalten oder ohne Interaktion wieder gehen.
Die Analyse eines KI-Chatbots wird erst nützlich, wenn jede Kennzahl zu einer konkreten Prüfaufgabe führt. Beginnen Sie mit den Fragen und Antworten selbst und nutzen Sie dann Summen und Trends, um zu entscheiden, wo Sie genauer hinsehen.
Verstehen, was Seekdown erfasst
Seekdown unterscheidet mehrere Kennzahlen:
| Kennzahl | Bedeutung |
|---|---|
| Sitzung | Eine Gruppe von Aktivitäten, die beginnt, wenn ein Besucher den Assistenten öffnet |
| Anfrage | Eine Frage und ihre Antwort |
| Eindeutiger Nutzer | Eine Browser-Identität; dieselbe Person in zwei Browsern zählt doppelt |
| Reaktion | Positives oder negatives Feedback zu einer Antwort |
| Sitzung ohne Interaktion | Eine Sitzung, in der der Besucher den Assistenten geöffnet, aber weder gefragt, reagiert noch ein Formular abgesendet hat |
Die globale Analyse fasst die letzten 30 Tage zusammen. Traffic aus dem Playground des Dashboards ist ausgeschlossen, Traffic aus Einbettungen, geteilten Links und der eingebetteten Vorschau dagegen enthalten.
Diese Definitionen verhindern typische Fehler. So sind Sitzungen nicht dasselbe wie Fragen, und eindeutige Nutzer sind keine verifizierten Personen.
Einer Prüfreihenfolge folgen statt einer einzigen Kennzahl
1. Prüfen, ob Menschen interagieren
Vergleichen Sie die Gesamtzahl der Sitzungen mit den Sitzungen, die eine Interaktion enthalten. Eine große Lücke beweist nicht, dass die Begrüßung falsch ist, zeigt Ihnen aber, wo Sie ansetzen können: Sichtbarkeit, Begrüßungstext, Vorschläge oder die Relevanz des Assistenten auf dieser Seite.
2. Die tatsächlichen Fragen lesen
Die Tabelle Conversations erfasst Frage, Antwort, Reaktion, Assistent und Zeitpunkt. Exportieren Sie sie als CSV, wenn Sie wiederkehrende Formulierungen gruppieren oder eine größere Menge prüfen möchten.
Gruppieren Sie Fragen nach Aufgabe statt nach einzelner Formulierung. „Wo ist der WordPress-Code?“, „Wie installiere ich das in WordPress?“ und „WP-Einrichtung“ können auf dieselbe fehlende oder schwer auffindbare Quelle hinweisen.
3. Negativen Reaktionen nachgehen
Eine negative Reaktion ist ein Prüfsignal, keine Diagnose. Öffnen Sie das Gespräch und prüfen Sie:
- Enthielt der Datensatz die Antwort?
- Hat das Retrieval die richtige Quelle ausgewählt?
- Ist die Antwort der Quelle gefolgt?
- War die Quelle selbst unklar oder veraltet?
- Hat der Besucher eine Funktion erwartet, die das Produkt nicht bietet?
Beheben Sie die Stufe, die versagt hat. Ein Umschreiben der Assistenten-Anweisungen ersetzt keine fehlende Seite mit Richtlinien.
4. Nach Inhaltsänderungen erneut testen
Halten Sie ein kurzes Regressionsset für wiederkehrende Fragen bereit. Stellen Sie diese Fragen nach der Aktualisierung einer Seite oder eines Datensatzes erneut und notieren Sie Quelle und Ergebnis. So entsteht ein belastbarer Vorher-nachher-Vergleich, ohne einen Erfolgsprozentsatz zu erfinden.
Eine praktische wöchentliche Prüfung
| Prüfung | Beleg | Mögliche Maßnahme |
|---|---|---|
| Sitzungen ohne Interaktion | Sitzungs-KPI und Seitenkontext | Platzierung, Begrüßungstext oder Vorschläge überarbeiten |
| Wiederkehrende Fragen | Exportierte Gesprächsformulierungen | Die relevante Quellseite verbessern |
| Negative Reaktionen | Vollständiges Gespräch und zitierte Quelle | Inhalte, Retrieval oder Antwortregeln korrigieren |
| Fragen ohne belegte Antwort | Gesprächsanalyse | Dokumentation ergänzen oder einen sorgfältigen Fallback festlegen |
| Plötzliche Traffic-Änderung | 30-Tage-Trenddiagramme | Einbettung und jüngste Website-Änderungen prüfen |
Optimieren Sie nicht isoliert auf mehr Gespräche. Eine kurze Interaktion mit einer überprüfbaren Antwort kann nützlicher sein als ein langes Gespräch, das aus Verwirrung entsteht.
Den vollständigen Ablauf in der Oberfläche finden Sie in der Seekdown-Dokumentation zur Analyse.