So machen Sie aus unstrukturierten Website-Inhalten strukturierte Daten
Eine Webseite ist zum Lesen gemacht, nicht dafür, sich wie eine Datenbankzeile zu verhalten. Überschriften, Fließtext, Karten und Datentabellen können dieselbe Entität auf ganz unterschiedliche Weise beschreiben.
Um diese Inhalte in strukturierte Daten zu verwandeln, braucht es zwei getrennte Schritte: die Quelle originalgetreu erfassen und dann ein dokumentiertes Schema anwenden.
Legen Sie fest, was ein Datensatz darstellt
Ein Datensatz kann ein Produkt, ein Unternehmen, eine Richtlinie, einen Artikel, einen Standort oder eine Veranstaltung darstellen. Werden mehrere Entitäten in einer Zeile vermischt, entstehen Felder, die sich schwer interpretieren lassen.
Schreiben Sie für jedes Feld eine kurze Vereinbarung:
| Frage | Beispielentscheidung |
|---|---|
| Was bedeutet das Feld? | publishedDate ist das auf der Seite angegebene Veröffentlichungsdatum |
| Welcher Typ ist es? | ISO-Datum, Text, Zahl, Liste oder URL |
| Darf es fehlen? | Ja; leer lassen statt einen abgeleiteten Wert einzutragen |
| Darf es sich wiederholen? | Tags und Zertifizierungen können Listen sein |
| Was belegt den Wert? | Der Datensatz behält eine Quell-URL |
| Wie werden Konflikte behandelt? | Zwei veröffentlichte Werte zur Prüfung markieren |
Erfassen Sie repräsentative Vorlagen
Wählen Sie Beispiele aus jedem Seitentyp, nicht nur die sauberste Seite. Nehmen Sie einen lückenhaften Datensatz, eine Seite mit Tabelle, ein älteres Layout und eine Ausnahme auf.
Datenerfassungsjobs in Seekdown laden Seiten in einen Memory-Datensatz. In der Inhaltsansicht des Datensatzes können Sie Titel, URL, Inhalt, Zusammenfassung und weitere erfasste Informationen prüfen, bevor Sie sie exportieren.
Fehlt ein Wert im erfassten Inhalt, kann ihn kein späterer Strukturierungsschritt zuverlässig aus diesem Datensatz wiederherstellen.
Normalisieren Sie, ohne Bedeutung zu verlieren
Die Normalisierung soll gleichwertige Werte vergleichbar machen und dabei nützliche Zusätze bewahren.
- Wandeln Sie „16 bar“ nur dann in den Wert 16 und die Einheit bar um, wenn beides erhalten bleibt.
- Ordnen Sie „Ja“, „Verfügbar“ und ein Häkchen nur dann einem einzigen booleschen Wert zu, wenn sie dasselbe bedeuten.
- Bewahren Sie „ab“, „geschätzt“ und „kontaktieren Sie uns“, statt daraus exakte Preise zu machen.
- Behalten Sie den Originaltext für Prüfzwecke, wenn eine kontrollierte Kategorie zugewiesen wird.
- Speichern Sie Datumsangaben in einem einheitlichen Format, behalten Sie aber die veröffentlichte Zeitzone, wenn sie relevant ist.
Trennen Sie Extraktion und Validierung
Messen Sie die Ergebnisse auf Feldebene anhand einer gekennzeichneten Stichprobe. Erfassen Sie fehlende, falsche und nicht belegte Werte getrennt.
Eine Seite kann einen gültigen Datensatz liefern, auch wenn ein optionales Feld fehlt. Sie sollte durchfallen, wenn ein Wert erfunden, der falschen Entität zugeordnet oder eines wesentlichen Zusatzes beraubt wurde.
Bewahren Sie die Herkunft im finalen Datensatz
Ein strukturierter Wert ohne Quell-URL und Erfassungszeit ist schwer zu überprüfen und lässt sich nicht gefahrlos blind aktualisieren.
Wählen Sie ein Ausgabeformat für die nächste Aufgabe
Nutzen Sie CSV für die Prüfung in Tabellen, JSON für Skripte und Importe oder einen Enterprise-OData-Feed für eine aktualisierbare Verbindung zu Excel oder Power BI. Das Format richtet sich nach der Aufgabe des Nutzers; an der Qualität von Quelle oder Schema ändert es nichts.