Personaliza el scraper de tu web
Si partiste de una web, un trabajo de captura de datos decide qué páginas se convierten en conocimiento. Sin tocar nada hace un trabajo razonable, pero unos minutos de ajuste lo mantienen centrado en el contenido que importa y lejos de las páginas que no (inicios de sesión, procesos de compra, archivos de etiquetas).
Cómo funciona el trabajo de captura de datos
Un trabajo de captura de datos empieza por las páginas que le das y avanza página a página: abre una página, extrae y procesa su contenido hacia tu dataset, lee los enlaces de esa página y luego sigue esos enlaces descubiertos hasta las páginas siguientes, repitiendo hacia fuera hasta alcanzar los límites que hayas fijado. Todo lo que sigue trata de trazar esos límites, para que visite las páginas correctas y se salte el resto.
Los ajustes del trabajo se agrupan en unas pocas secciones. Estas tres son las que conviene conocer desde el principio.
Navigation: adónde va
Esta sección controla el alcance del trabajo:
- Initial URLs: los puntos de entrada desde los que empieza. Cada uno es una semilla desde la que descubre enlaces.
- Hostnames: los dominios que puede visitar. Si se definen, solo sigue los enlaces cuyo host coincide, así que no puede irse a webs externas.
- Included paths: patrones glob; si se definen, solo se rastrean las URL que coinciden con ellos (p. ej.
*/docs/*). - Excluded paths: patrones glob que se omiten aunque estén incluidos arriba (p. ej.
*/tag/*). - Depth: cuántos saltos de enlace sigue desde las URL iniciales.
0= solo las páginas que le diste. - Sitemap URL: un
sitemap.xmlopcional que se usa como fuente adicional de páginas, para llegar a las que no están enlazadas desde la navegación. - Max number of contents to crawl: el límite de páginas por ejecución: Preview 100, 500, 1500 o 5000.
Rastrear solo una sección de una web
Combina los hostnames con las rutas incluidas y excluidas para capturar exactamente una zona:
- Solo la documentación. URL inicial https://www.acme.com/docs/, hostname https://www.acme.com, ruta incluida */docs/*. Se ignora todo lo que esté fuera de /docs. - Toda la web, sin el ruido. Deja vacías las rutas incluidas (todas las páginas cuentan) y excluye lo que sobra: */tag/*, */login/*, */cart/*. - Solo un subdominio. URL inicial https://blog.acme.com/, hostname https://blog.acme.com, ruta incluida */blog/*: el trabajo se queda en el blog y nunca pasa a la web principal.
Las rutas excluidas tienen prioridad sobre las incluidas, así que puedes incluir una sección amplia y sacar excepciones de ella.
Los espacios de trabajo en prueba usan Preview
En la prueba gratuita, los rastreos están limitados a Preview (hasta 100 páginas): suficiente para una web pequeña o una sección concreta. Mejora de plan para desbloquear los límites mayores.
Contents: qué guarda
Esta sección da forma al contenido que produce el trabajo:
- Content type: una etiqueta que se aplica a cada elemento que crea este trabajo. Es más que orden: tu asistente puede usar el tipo de contenido para distinguir entre resultados (por ejemplo, responder solo con un tipo concreto) y para crear visualizaciones personalizadas, mostrando ese tipo de forma distinta en el chat.
- Content lifespan days: cada cuánto se fuerza el reprocesado de un contenido. Cuando un elemento supera su vida útil, la siguiente ejecución lo actualiza en lugar de saltárselo, así que las páginas que cambian a menudo se mantienen al día.
- Tags: etiquetas que se asignan a todo lo que captura el trabajo. Úsalas para filtrar contenido y para personalizar con qué responde el asistente (por ejemplo, limitar las respuestas a un subconjunto etiquetado).
Others
Una sola opción: Analyze and skip cookie consent dialogs (activada por defecto), para que los avisos de cookies no se capturen como contenido de la página.