Comment extraire les noms, caractéristiques techniques et prix des produits depuis des pages web
Les pages produits semblent homogènes jusqu’à ce que vous examiniez les variantes, les prix soldés, les unités et les caractéristiques manquantes. Un processus d’extraction utile préserve ces distinctions au lieu de forcer chaque page dans un enregistrement plat unique.
Commencez par un schéma produit
Utilisez une définition de champ qui précise à la fois la signification et la preuve.
| Champ | Exemple tiré d’une page de démonstration | Règle d’extraction |
|---|---|---|
| productName | HX sanitary pump 240 | Utiliser le titre principal du produit |
| sku | HX-240-SS | Conserver l’identifiant publié tel quel |
| price | 1299.00 | Ne stocker un nombre que si un prix est indiqué |
| currency | EUR | Ne pas déduire la devise uniquement de la langue |
| salePrice | Vide | Séparer du prix normal |
| specifications | pressure: 16 bar | Conserver le libellé, la valeur et l’unité |
| availability | Contact sales | Ne pas convertir en « en stock » |
| sourceUrl | URL de la fiche produit | Obligatoire pour chaque enregistrement |
| capturedAt | Horodatage de capture | Obligatoire pour les contrôles de fraîcheur |
L’exemple est illustratif et ne provient pas de données client. Remplacez-le par les champs et la terminologie du catalogue capturé.
Limitez l’exploration aux fiches produits
Partez d’une page de catégorie ou d’un sitemap et autorisez les chemins des fiches produits. Excluez les URL de panier, de compte, de résultats de recherche, de tags et de filtres, sauf si elles contiennent des enregistrements uniques.
Fixez une limite de pages supérieure à la taille attendue du catalogue et lancez un échantillon. Vérifiez les liens découverts avant de capturer l’ensemble du catalogue : la navigation à facettes peut multiplier les URL pour un même produit.
Rendez les variantes explicites
Décidez si une couleur, une taille, un conditionnement ou une offre régionale devient :
- une ligne distincte avec son propre identifiant ;
- une liste enfant au sein d’un enregistrement produit unique ; ou
- un champ qui ne s’applique qu’à la variante sélectionnée.
N’associez pas le nom d’un produit de base au prix d’une variante, sauf si la source les présente ensemble. Lorsqu’une page indique « à partir de 20 € », conservez ce qualificatif ou stockez un champ de prix minimum plutôt que d’enregistrer 20 € comme prix universel.
Testez les pages les plus susceptibles de poser problème
Votre échantillon de validation doit inclure :
- un produit normal en stock ;
- un produit soldé affichant deux prix ;
- un produit avec des variantes ;
- une page sans caractéristiques techniques ;
- un produit indisponible ou disponible uniquement sur demande ;
- un produit dont le tableau de caractéristiques utilise une mise en page différente.
Pour chaque page, comparez le texte capturé et les champs obtenus avec la source en ligne. Un enregistrement valide présente la bonne valeur, l’unité, le qualificatif et l’URL source.
Anticipez les changements
Les données du catalogue évoluent à des rythmes différents. Le prix et la disponibilité peuvent justifier une capture fréquente, alors que les caractéristiques techniques changent rarement. Si elles figurent sur la même page, choisissez une fréquence adaptée au champ le plus sensible au temps et surveillez la consommation d’exploration.
Exportez le jeu de données validé en CSV ou en JSON pour obtenir un fichier à un instant donné. Conservez les champs de source et de capture afin que les utilisateurs en aval puissent vérifier quand une valeur a été observée.