Cómo convertir el contenido no estructurado de una web en datos estructurados
Una página web está pensada para leerse, no para comportarse como una fila de una base de datos. Encabezados, texto, tarjetas y tablas de especificaciones pueden describir la misma entidad de formas distintas.
Convertir ese contenido en datos estructurados requiere dos pasos separados: capturar la fuente fielmente y después aplicar un esquema documentado.
Decide qué representa un registro
Un registro puede representar un producto, una empresa, una política, un artículo, una ubicación o un evento. Mezclar varias entidades en una fila genera campos difíciles de interpretar.
Escribe un pequeño contrato para cada campo:
| Pregunta | Ejemplo de decisión |
|---|---|
| ¿Qué significa el campo? | publishedDate es la fecha de publicación indicada en la página |
| ¿De qué tipo es? | Fecha ISO, texto, número, lista o URL |
| ¿Puede faltar? | Sí; usa un valor vacío en lugar de uno deducido |
| ¿Puede repetirse? | Las etiquetas y certificaciones pueden ser listas |
| ¿Qué demuestra el valor? | El registro conserva una URL de origen |
| ¿Cómo se gestionan los conflictos? | Marca para revisión dos valores publicados distintos |
Captura plantillas representativas
Elige ejemplos de cada tipo de página, no solo la página más limpia. Incluye un registro con pocos datos, una página con una tabla, un diseño antiguo y una excepción.
Los trabajos de captura de datos de Seekdown recuperan páginas en un dataset de memoria. La vista de contenido del dataset te permite revisar el título, la URL, el cuerpo, el resumen y otra información capturada antes de exportarla.
Si un valor no está en el cuerpo capturado, ningún paso posterior de estructuración podrá recuperarlo de forma fiable a partir de ese registro.
Normaliza sin perder el significado
La normalización debe hacer comparables los valores equivalentes y conservar los matices útiles.
- Convierte "16 bar" en el valor 16 y la unidad bar solo si ambos siguen disponibles.
- Agrupa "Sí", "Disponible" y una marca de verificación en un único booleano solo cuando signifiquen lo mismo.
- Conserva "desde", "estimado" y "contáctanos" en lugar de convertirlos en precios exactos.
- Guarda el texto original para auditoría cuando asignes una categoría controlada.
- Almacena las fechas en un único formato, pero conserva la zona horaria publicada cuando importe.
Separa la extracción de la validación
Usa una muestra etiquetada para medir los resultados por campo. Registra por separado los valores que faltan, los incorrectos y los que no tienen respaldo.
Una página puede producir un registro válido aunque falte un campo opcional. Debe fallar cuando un valor es inventado, se asigna a la entidad equivocada o pierde un matiz importante.
Conserva la procedencia en el dataset final
Un valor estructurado sin su URL de origen y su fecha de captura es difícil de verificar y arriesgado de actualizar a ciegas.
Elige un formato de salida para la siguiente tarea
Usa CSV para revisar en una hoja de cálculo, JSON para scripts e importaciones, o un feed OData Enterprise para una conexión actualizable con Excel o Power BI. El formato debe adaptarse a la tarea de quien consume los datos; no cambia la calidad de la fuente ni del esquema.