So extrahieren Sie Produktnamen, technische Daten und Preise aus Webseiten
Produktseiten wirken einheitlich, bis Sie Varianten, Aktionspreise, Einheiten und fehlende technische Daten genauer ansehen. Ein brauchbarer Extraktionsprozess bewahrt diese Unterschiede, statt jede Seite in einen flachen Datensatz zu pressen.
Beginnen Sie mit einem Produktschema
Verwenden Sie eine Felddefinition, die sowohl die Bedeutung als auch den Beleg festlegt.
| Feld | Beispiel von einer Demoseite | Extraktionsregel |
|---|---|---|
| productName | HX sanitary pump 240 | Die Hauptüberschrift des Produkts verwenden |
| sku | HX-240-SS | Die veröffentlichte Kennung exakt übernehmen |
| price | 1299.00 | Nur dann eine Zahl speichern, wenn ein Preis angegeben ist |
| currency | EUR | Die Währung nicht allein aus der Sprache ableiten |
| salePrice | Leer | Vom regulären Preis getrennt halten |
| specifications | pressure: 16 bar | Bezeichnung, Wert und Einheit bewahren |
| availability | Contact sales | Nicht in „auf Lager“ umwandeln |
| sourceUrl | URL der Produktdetailseite | Für jeden Datensatz erforderlich |
| capturedAt | Erfassungszeitpunkt | Für Aktualitätsprüfungen erforderlich |
Das Beispiel dient nur der Veranschaulichung und enthält keine Kundendaten. Ersetzen Sie es durch die Felder und Begriffe des Katalogs, den Sie erfassen.
Begrenzen Sie den Crawl auf Produktdatensätze
Starten Sie bei einer Kategorieseite oder Sitemap und erlauben Sie die Pfade der Produktdetailseiten. Schließen Sie Warenkorb-, Konto-, Suchergebnis-, Tag- und Filter-URLs aus, sofern sie keine eigenen Datensätze enthalten.
Setzen Sie ein Seitenlimit oberhalb der erwarteten Kataloggröße und führen Sie eine Stichprobe durch. Prüfen Sie die gefundenen Links, bevor Sie den gesamten Katalog erfassen; eine Facettennavigation kann die URLs für dasselbe Produkt vervielfachen.
Halten Sie Varianten ausdrücklich fest
Legen Sie fest, ob eine Farbe, Größe, Packung oder ein regionales Angebot wird:
- eine eigene Zeile mit eigener Kennung;
- eine untergeordnete Liste innerhalb eines Produktdatensatzes; oder
- ein Feld, das nur für die ausgewählte Variante gilt.
Kombinieren Sie den Namen eines Basisprodukts nicht mit dem Preis einer Variante, wenn die Quelle sie nicht gemeinsam darstellt. Steht auf einer Seite „ab 20 €“, bewahren Sie diesen Zusatz oder speichern Sie ein Feld für den Mindestpreis, statt 20 € als allgemeingültigen Preis zu erfassen.
Testen Sie die Seiten, die am ehesten Probleme machen
Ihre Validierungsstichprobe sollte Folgendes enthalten:
- ein normales, lieferbares Produkt;
- ein reduziertes Produkt mit zwei Preisen;
- ein Produkt mit Varianten;
- eine Seite mit fehlenden technischen Daten;
- ein nicht verfügbares oder nur auf Anfrage erhältliches Produkt;
- ein Produkt, dessen Datentabelle ein anderes Layout verwendet.
Vergleichen Sie für jede Seite den erfassten Text und die resultierenden Felder mit der Live-Quelle. Ein bestandener Datensatz hat den richtigen Wert, die richtige Einheit, den richtigen Zusatz und die richtige Quell-URL.
Planen Sie für Änderungen
Katalogdaten ändern sich unterschiedlich schnell. Preis und Verfügbarkeit können eine häufige Erfassung rechtfertigen, technische Daten ändern sich dagegen selten. Stehen sie auf derselben Seite, wählen Sie einen Rhythmus, der dem zeitkritischsten Feld gerecht wird, und behalten Sie den Crawl-Verbrauch im Blick.
Exportieren Sie den geprüften Datensatz als CSV oder JSON, wenn Sie eine Momentaufnahme brauchen. Behalten Sie die Felder für Quelle und Erfassung, damit nachgelagerte Nutzer prüfen können, wann ein Wert beobachtet wurde.