Eine Website crawlen
Wenn Ihr Wissen bereits online veröffentlicht ist, richten Sie einen Datenerfassungsjob darauf aus. Sie geben ihm eine Startadresse, und er liest Ihre Seiten eine nach der anderen und verwandelt sie in durchsuchbares Wissen – ohne Kopieren und Einfügen.
Bevor Sie beginnen
- Entscheiden Sie, welche Website (oder welchen Bereich davon) Sie erfassen möchten.
- Erstellen oder wählen Sie den Datensatz, den sie befüllen soll.
- Stellen Sie sicher, dass Sie die Website crawlen dürfen.
Schritte
- Öffnen Sie Datenerfassung im Hauptmenü.
- Wählen Sie New data capture, um das Erstellungsformular zu öffnen.
- Wählen Sie die Option website – das ist der Standardweg, die öffentlichen Seiten einer Website zu erfassen.
- Geben Sie dem Job einen eindeutigen Titel, damit Sie ihn später wiedererkennen (z. B. „Hilfecenter-Crawl“ oder „Blog – wöchentlich“).
- Fügen Sie eine oder mehrere Start-URLs hinzu – das sind die Seiten, auf denen der Job beginnt. Er öffnet jede, liest die Links darauf und folgt ihnen nach außen. Wenn Sie die Wurzel eines Bereichs angeben (etwa
https://acme.com/docs/), findet der Job alles, was von dort verlinkt ist. - Wählen Sie den Ziel-Datensatz, in dem die erfassten Inhalte landen. Sie können einen bestehenden wählen oder in diesem Schritt einen neuen erstellen.
- Fügen Sie optional Tags hinzu – jedes vom Job erfasste Inhaltselement erhält diese Tags, was das spätere Filtern und die Sammelbearbeitung erleichtert.
- Erstellen Sie den Job (Create). Seekdown speichert die Konfiguration und startet den ersten Lauf automatisch.
Halten Sie den Job in Grenzen
Ein Datenerfassungsjob besucht nur seine erlaubten Hostnamen und beachtet Ihre Regeln für ein- und ausgeschlossene Pfade, eine Link-Tiefe und eine Seitenobergrenze, die durch den Erfassungsumfang festgelegt wird (Preview 100, Small 500, Medium 1500, Large 5000 oder Custom). Legen Sie diese vor einem großen Lauf fest – siehe Erfassungsumfang anpassen.
Einen Crawl-Umfang wählen
Der Crawl-Umfang begrenzt, wie viele Seiten ein einzelner Lauf erfassen darf. Wählen Sie den kleinsten, der Ihre Inhalte noch abdeckt:
| Umfang | Max. Seiten | Geeignet für |
|---|---|---|
| Preview | 100 | Einen ersten Test, eine kleine Website oder einen einzelnen Bereich. |
| Small | 500 | Einen Blog oder eine überschaubare Produktwebsite. |
| Medium | 1500 | Eine typische Dokumentations- oder Support-Website. |
| Large | 5000 | Ein großes Support-Center oder eine Website mit vielen Bereichen. |
| Custom | Keine feste Obergrenze | Sonderfälle (abhängig von der Nutzung Ihres Plans). |
Eine gute Gewohnheit: Klein anfangen, prüfen, ob die richtigen Seiten erfasst werden, dann den Umfang erweitern und erneut ausführen.
Das Ergebnis prüfen
Die Detailseite des Jobs öffnet sich. Beobachten Sie seinen Status und prüfen Sie die aktualisierten Inhalte oder die gefundenen Links, um zu sehen, was er gefunden hat.
Fehlerbehebung
- Wenn er nichts erfasst, prüfen Sie Hostnamen, Pfadregeln, Tiefe und eventuelle Meldungen zu blockierten URLs.
- Manche Websites erfordern eine Anmeldung oder blockieren das Crawling vollständig.