Tâches de capture de données

Une tâche de capture de données est le principal moyen de remplir un jeu de données à partir d’un site web. Vous la dirigez vers une ou plusieurs pages, et elle collecte leur contenu dans un jeu de données mémoire — sans copier-coller ni saisie manuelle, et elle peut se répéter selon une planification pour que vos connaissances ne soient jamais obsolètes.

Fonctionnement d’une tâche de capture de données

Elle progresse vers l’extérieur, page par page. Elle ouvre une page de départ, extrait et stocke son contenu, lit les liens de cette page, puis suit ces liens découverts vers les pages suivantes — et recommence jusqu’à atteindre les limites que vous avez fixées. Ces limites font tout l’art d’une bonne capture :

• Où elle va — les URL de départ, les noms d’hôte autorisés et les chemins inclus/exclus.
• Jusqu’où — la profondeur de liens (nombre de sauts depuis le départ) et la portée de capture, un plafond de pages allant de Preview (100) à Large (5000).
• Quelle fraîcheur — une planification facultative, plus une durée de vie du contenu qui retraite automatiquement les pages à mesure qu’elles vieillissent.

Par exemple, pour transformer un manuel produit en connaissances sans embarquer le site marketing, vous démarreriez à https://acme.com/docs/, limiteriez le nom d’hôte à acme.com, n’incluriez que */docs/*, fixeriez une profondeur de 3, choisiriez la portée Medium et planifieriez une nouvelle capture hebdomadaire. Résultat : le manuel reste à jour tout seul, et les pages de connexion et de paiement ne sont jamais capturées.

Pour aller plus loin

• Personnaliser votre outil de scraping de site web
• Planifier une tâche de capture de données
• Ajuster la portée de capture