Ihren Website-Scraper anpassen
Wenn Sie von einer Website ausgegangen sind, entscheidet ein Datenerfassungsjob, welche Seiten zu Wissen werden. Sich selbst überlassen macht er seine Sache ordentlich, aber ein paar Minuten Feinabstimmung halten ihn bei den Inhalten, die zählen, und fern von den Seiten, die es nicht tun (Logins, Checkouts, Tag-Archive).
So funktioniert der Datenerfassungsjob
Ein Datenerfassungsjob startet bei den Seiten, die Sie ihm geben, und arbeitet Seite für Seite: Er öffnet eine Seite, extrahiert und verarbeitet ihren Inhalt in Ihren Datensatz, liest die Links auf dieser Seite und folgt dann diesen gefundenen Links zu den nächsten Seiten – immer weiter nach außen, bis er die von Ihnen gesetzten Grenzen erreicht. Bei allem Folgenden geht es darum, diese Grenzen zu ziehen, damit er die richtigen Seiten besucht und den Rest auslässt.
Die Einstellungen des Jobs sind in einige Abschnitte gruppiert. Diese drei sollten Sie früh kennen.
Navigation – wohin er geht
Dieser Abschnitt steuert die Reichweite des Jobs:
- Initial URLs – die Einstiegspunkte, bei denen er startet. Jeder ist ein Ausgangspunkt, von dem aus er Links entdeckt.
- Hostnames – die Domains, die er besuchen darf. Wenn gesetzt, folgt er nur Links mit passendem Host und kann so nicht auf externe Websites abschweifen.
- Included paths – Glob-Muster; wenn gesetzt, werden nur passende URLs gecrawlt (z. B.
*/docs/*). - Excluded paths – Glob-Muster, die übersprungen werden, auch wenn sie oben eingeschlossen sind (z. B.
*/tag/*). - Depth – wie viele Link-Sprünge von den Initial URLs aus er folgt.
0= nur die Seiten, die Sie ihm gegeben haben. - Sitemap URL – eine optionale
sitemap.xmlals zusätzliche Seitenquelle, um Seiten zu erreichen, die nicht über die Navigation verlinkt sind. - Max number of contents to crawl – die Seitenobergrenze pro Lauf: Preview 100, 500, 1500 oder 5000.
Nur einen Teilbereich einer Website erfassen
Kombinieren Sie Hostnames mit eingeschlossenen/ausgeschlossenen Pfaden, um genau einen Bereich zu erfassen:
- Nur die Dokumentation. Initial URL https://www.acme.com/docs/, Hostname https://www.acme.com, eingeschlossener Pfad */docs/*. Alles außerhalb von /docs wird ignoriert. - Die ganze Website, ohne den Ballast. Lassen Sie die eingeschlossenen Pfade leer (alle Seiten kommen infrage) und schließen Sie den Ballast aus: */tag/*, */login/*, */cart/*. - Nur eine Subdomain. Initial URL https://blog.acme.com/, Hostname https://blog.acme.com, eingeschlossener Pfad */blog/* – der Job bleibt im Blog und wechselt nie auf die Hauptwebsite.
Ausgeschlossene Pfade haben Vorrang vor eingeschlossenen, sodass Sie einen großen Bereich einschließen und Ausnahmen herausnehmen können.
Test-Arbeitsbereiche nutzen Preview
In der kostenlosen Testphase sind Crawls auf Preview (bis zu 100 Seiten) begrenzt – genug für eine kleine Website oder einen gezielten Bereich. Upgraden Sie, um die größeren Obergrenzen freizuschalten.
Inhalte – was er speichert
Dieser Abschnitt bestimmt die Inhalte, die der Job erzeugt:
- Content type – eine Kennzeichnung, die jedem von diesem Job erstellten Element zugewiesen wird. Das ist mehr als Ordnung: Ihr Assistent kann den Inhaltstyp nutzen, um zwischen Ergebnissen zu unterscheiden (zum Beispiel nur aus einem bestimmten Typ zu antworten) und um individuelle Darstellungen zu steuern, die diesen Typ im Chat anders anzeigen.
- Content lifespan days – wie oft ein Inhalt zwingend neu verarbeitet wird. Sobald ein Element älter als seine Lebensdauer ist, aktualisiert der nächste Lauf es, statt es zu überspringen – so bleiben Seiten, die sich oft ändern, aktuell.
- Tags – Kennzeichnungen, die an alles angehängt werden, was der Job erfasst. Nutzen Sie sie, um Inhalte zu filtern und um zu personalisieren, womit der Assistent antwortet (zum Beispiel Antworten auf eine getaggte Teilmenge zu beschränken).
Sonstiges
Eine einzige Option: Analyze and skip cookie consent dialogs (standardmäßig aktiviert), damit Cookie-Banner nicht als Seiteninhalt erfasst werden.