Ajusta el alcance de captura
El alcance es la forma de decirle a un trabajo de captura de datos por dónde puede ir y cuánto debe recoger. Si lo aciertas, captura exactamente el contenido que quieres: ni más ni menos.
Antes de empezar
- Abre el trabajo de sitio web.
- Ten claro qué páginas deben entrar y cuáles no.
Pasos
- Abre la página de detalle del trabajo desde Captura de datos.
- Elige Edit properties para abrir el formulario de configuración.
- Abre los ajustes de Navigation: aquí están todos los controles del alcance.
- Revisa las URL iniciales (donde empieza el trabajo) y la lista de hostnames. El trabajo solo seguirá enlaces que coincidan con uno de los hostnames permitidos, así que si tu sitio usa subdominios (p. ej.,
docs.acme.comyblog.acme.com), añade cada uno. - Añade rutas incluidas para limitar el trabajo a secciones concretas. Por ejemplo,
*/docs/*conserva solo las páginas cuya URL contiene/docs/. Si lo dejas vacío, el trabajo visita todo lo que hay en los hostnames permitidos. - Añade rutas excluidas para las zonas que quieres omitir: páginas de inicio de sesión, paneles de administración, archivos de etiquetas, etc. Las rutas excluidas tienen prioridad sobre las incluidas, así que puedes incluir una sección amplia y recortar excepciones dentro de ella.
- Define la profundidad de rastreo (cuántos saltos de enlace desde las URL de inicio recorrerá el trabajo) y el número máximo de contenidos (un tope absoluto de cuántas páginas procesa en una sola ejecución).
- Guarda la configuración actualizada.
Ejemplos de reglas de rutas
Las rutas incluidas y excluidas son patrones glob que se comparan con la ruta de una URL:
- Conservar una sección: la ruta incluida */docs/* captura solo la documentación e ignora todo lo demás. - Quitar el ruido: las rutas excluidas */login/*, */cart/*, */tag/* descartan las páginas de inicio de sesión, de pago y de archivo de etiquetas. - Recortar una excepción: incluye una sección amplia y excluye una subruta dentro de ella; las rutas excluidas prevalecen sobre las incluidas.
Comprueba el resultado
Vuelve a ejecutar el trabajo y revisa los enlaces descubiertos y el contenido actualizado para ver el nuevo alcance en acción.
Solución de problemas
- Poco contenido suele significar que el alcance es demasiado estrecho.
- Demasiado contenido, que es demasiado amplio.
- Recuerda que una ruta excluida puede anular sin avisar una página que creías haber incluido.