Aktualität und erneutes Crawling

Einen KI-Chatbot über Ihre Website aktuell halten

Eine geplante Website-Erfassung speist aktuelle Seiten in den Datensatz eines KI-Chatbots ein

Hängt Ihr Chatbot von Webseiten ab, verursacht das wiederholte Exportieren und Hochladen dieser Seiten unnötige Arbeit. Ein Website-Datenerfassungsjob kann die freigegebenen Bereiche erneut besuchen und den verbundenen Memory-Datensatz nach Zeitplan aktualisieren.

Diese Anleitung beschreibt den Umsetzungsweg in Seekdown.

Bevor Sie den Job konfigurieren

Bereiten Sie drei Dinge vor:

die öffentliche URL, an der die Erkundung beginnen soll;
die Hostnamen, die der Job besuchen darf; und
die Bereiche, die einbezogen oder ausgeschlossen werden sollen.

Beginnen Sie nicht standardmäßig mit der ganzen Domain. Login-Seiten, Checkout-Seiten, Tag-Archive, alte Kampagnen und doppelte Druckansichten erzeugen Rauschen, ohne einer Antwort zu helfen.

Den Erfassungsumfang konfigurieren

Öffnen Sie Datenerfassung, erstellen oder bearbeiten Sie einen Website-Job und prüfen Sie dessen Navigationseinstellungen.

Seekdown-Navigationseinstellungen für Start-URLs und erlaubte Hostnamen mit Beispieldaten

Nutzen Sie Muster für einbezogene und ausgeschlossene Pfade, um die Grenze ausdrücklich festzulegen. Bei einer Dokumentations-Website könnte eine Ausgangskonfiguration "/docs/" einbeziehen und "/docs/archive/", "/login/" sowie "/tag/" ausschließen. Ausgeschlossene Pfade haben Vorrang.

Legen Sie eine Seitenobergrenze und eine Linktiefe fest, die groß genug sind, um die gewünschten Inhalte zu erreichen, aber keine fachfremden Bereiche. Speichern Sie den Job und führen Sie ihn einmal aus, bevor Sie einen Zeitplan hinzufügen.

Den ersten Lauf prüfen

Prüfen Sie die gefundenen Links und die erfassten Einträge.

Sind die erwarteten Seiten vorhanden?
Hat der Job die erlaubten Hostnamen verlassen?
Hat ein Ausschluss eine wichtige Seite entfernt?
Enthält der erfasste Text die Fakten, die ein Besucher braucht?
Fehlen veraltete und doppelte Seiten wie gewünscht?

Seekdown-Datensatzinhalte zur Prüfung indexierter Einträge mit Beispieldaten

Korrigieren Sie den Umfang jetzt. Ein Zeitplan wiederholt denselben Fehler, wenn schon der erste Lauf die falschen Seiten erfasst.

Den Zeitplan hinzufügen

Öffnen Sie in der Ansicht Edit properties des Jobs Choose frequency to execute. Seekdown bietet Intervalle von stündlich, alle 4, 8 und 16 Stunden, täglich, alle 3 Tage und alle 7 Tage sowie „Never“.

Seekdown-Intervallauswahl für die geplante Datenerfassung mit Beispieldaten

Wählen Sie den Rhythmus nach der Änderungsrate der Quelle. Produktlisten können mehrere Läufe pro Tag rechtfertigen; stabile Richtlinien brauchen eventuell nur einen wöchentlichen Lauf oder eine manuelle Erfassung nach Freigabe.

Prüfen, ob der Chatbot die neuen Inhalte nutzt

Wählen Sie eine Frage, die an eine kontrollierte Seite gebunden ist. Notieren Sie die aktuelle Antwort und Quellenangabe, ändern Sie die Seite, schließen Sie die nächste Erfassung ab und stellen Sie dieselbe Frage erneut.

Eine erfolgreiche Prüfung besteht aus vier Teilen:

Die geänderte URL erscheint in der abgeschlossenen Erfassung.
Der aktualisierte Text erscheint im Datensatz.
Die Antwort des Chatbots spiegelt diesen Text wider.
Die Quellenangabe öffnet die aktualisierte Quelle.

Schlägt ein Schritt fehl, analysieren Sie genau diese Stufe. Gehen Sie nicht davon aus, dass der Zeitplan allein Aktualität garantiert.

Details zu Umfang und Zeitplan finden Sie unter Datenerfassungsjobs konfigurieren.