Personnalisez le scraper de votre site web
Si vous êtes parti d’un site web, une tâche de capture de données décide quelles pages deviennent des connaissances. Laissée telle quelle, elle fait un travail correct, mais quelques minutes de réglage la concentrent sur le contenu qui compte et l’éloignent des pages inutiles (connexion, paiement, archives de tags).
Fonctionnement de la tâche de capture de données
Une tâche de capture de données part des pages que vous lui donnez et travaille page par page : elle ouvre une page, en extrait et traite le contenu dans votre jeu de données, lit les liens de cette page, puis suit ces liens découverts vers les pages suivantes, en s’étendant ainsi jusqu’à atteindre les limites que vous avez fixées. Tout ce qui suit consiste à tracer ces limites, pour qu’elle visite les bonnes pages et ignore les autres.
Les paramètres de la tâche sont regroupés en quelques sections. Voici les trois qu’il vaut la peine de connaître dès le départ.
Navigation : où elle va
Cette section contrôle la portée de la tâche :
- Initial URLs : les points d’entrée d’où elle part. Chacun est une graine à partir de laquelle elle découvre des liens.
- Hostnames : les domaines qu’elle a le droit de visiter. Lorsqu’ils sont définis, elle ne suit que les liens dont l’hôte correspond, et ne peut donc pas s’égarer vers des sites externes.
- Included paths : des motifs glob ; lorsqu’ils sont définis, seules les URL qui y correspondent sont explorées (par ex.
*/docs/*). - Excluded paths : des motifs glob ignorés même s’ils sont inclus ci-dessus (par ex.
*/tag/*). - Depth : le nombre de sauts de liens suivis à partir des URL initiales.
0= uniquement les pages que vous lui avez données. - Sitemap URL : un
sitemap.xmlfacultatif utilisé comme source de pages supplémentaire, pour atteindre celles qui ne sont pas liées depuis la navigation. - Max number of contents to crawl : le plafond de pages par exécution : Preview 100, 500, 1500 ou 5000.
Cibler une partie d’un site
Combinez les noms d’hôte avec les chemins inclus/exclus pour capturer exactement une zone :
- Uniquement la documentation. URL initiale https://www.acme.com/docs/, nom d’hôte https://www.acme.com, chemin inclus */docs/*. Tout ce qui est en dehors de /docs est ignoré. - Tout le site, sans le superflu. Laissez les chemins inclus vides (toutes les pages sont éligibles) et excluez le désordre : */tag/*, */login/*, */cart/*. - Un seul sous-domaine. URL initiale https://blog.acme.com/, nom d’hôte https://blog.acme.com, chemin inclus */blog/* : la tâche reste sur le blog et ne passe jamais sur le site principal.
Les chemins exclus l’emportent sur les chemins inclus : vous pouvez donc inclure une large section et y découper des exceptions.
Les espaces de travail en essai utilisent Preview
Pendant l’essai gratuit, les explorations sont plafonnées à Preview (jusqu’à 100 pages), ce qui suffit pour un petit site ou une section ciblée. Passez à une offre supérieure pour débloquer les plafonds plus élevés.
Contenus : ce qu’elle stocke
Cette section façonne le contenu produit par la tâche :
- Content type : une étiquette appliquée à chaque élément créé par cette tâche. Ce n’est pas qu’une question de rangement : votre assistant peut utiliser le type de contenu pour distinguer les résultats (par exemple, ne répondre qu’à partir d’un type donné) et pour piloter des visualisations personnalisées, en affichant ce type différemment dans le chat.
- Content lifespan days : la fréquence à laquelle un contenu est obligatoirement retraité. Dès qu’un élément dépasse sa durée de vie, l’exécution suivante le rafraîchit au lieu de l’ignorer : les pages qui changent souvent restent ainsi à jour.
- Tags : des étiquettes attachées à tout ce que capture la tâche. Utilisez-les pour filtrer le contenu et pour personnaliser ce sur quoi l’assistant s’appuie pour répondre (par exemple, limiter les réponses à un sous-ensemble étiqueté).
Autres
Une seule option : Analyze and skip cookie consent dialogs (activée par défaut), pour que les bannières de consentement ne soient pas capturées comme contenu de page.