Gérer les URL bloquées
Certaines URL ne peuvent tout simplement pas être capturées — Seekdown bloque des catégories comme certains domaines gouvernementaux, de réseaux sociaux ou de places de marché, ainsi que tout ce qui ne doit pas faire l’objet de scraping. Si vous tombez sur l’une d’elles, voici comment repartir.
Avant de commencer
- Lisez le message d’URL bloquée affiché par l’application.
- Déterminez si cette URL est vraiment indispensable.
Étapes
- Lisez attentivement le message d’URL bloquée — il indique quelle URL a été refusée et la catégorie dont elle relève (par exemple, réseaux sociaux, place de marché ou administration).
- Revérifiez l’URL saisie. Une faute de frappe ou une redirection a pu mener à un domaine bloqué alors que le contenu voulu se trouve ailleurs.
- Supprimez les URL bloquées qui ne sont pas indispensables à votre jeu de données.
- Si le contenu est disponible sur un autre domaine autorisé, utilisez plutôt cette URL.
- Si l’URL bloquée est réellement nécessaire à votre cas d’usage, contactez le support pour voir si une solution de capture sur mesure est envisageable.
Vérifier le résultat
Une fois toutes les URL bloquées supprimées ou remplacées, le formulaire de création accepte votre configuration et vous permet de lancer la tâche normalement.
Dépannage
- N’essayez pas de contourner les catégories bloquées en modifiant l’URL — le blocage s’applique au domaine sous-jacent, pas au chemin précis.
- Certaines sources ne peuvent tout simplement pas être capturées de manière sûre ou légale, et Seekdown ne lèvera pas ces restrictions.