Come estrarre nomi, specifiche e prezzi dei prodotti dalle pagine web
Le pagine di prodotto sembrano uniformi finché non esamini varianti, prezzi scontati, unità di misura e specifiche mancanti. Un buon processo di estrazione preserva queste distinzioni invece di forzare ogni pagina in un unico record piatto.
Parti da uno schema di prodotto
Usa una definizione dei campi che indichi sia il significato sia l’evidenza.
| Campo | Esempio da una pagina dimostrativa | Regola di estrazione |
|---|---|---|
| productName | Pompa sanitaria HX 240 | Usa il titolo principale del prodotto |
| sku | HX-240-SS | Mantieni l’identificativo pubblicato esattamente com’è |
| price | 1299.00 | Salva un numero solo quando un prezzo è indicato |
| currency | EUR | Non dedurre la valuta solo dalla lingua |
| salePrice | Vuoto | Tienilo separato dal prezzo normale |
| specifications | pressure: 16 bar | Conserva etichetta, valore e unità |
| availability | Contatta le vendite | Non convertirlo in "disponibile" |
| sourceUrl | URL della scheda prodotto | Obbligatorio per ogni record |
| capturedAt | Data e ora di acquisizione | Obbligatorio per i controlli di aggiornamento |
L’esempio è illustrativo, non si tratta di dati di clienti. Sostituiscilo con i campi e la terminologia del catalogo da acquisire.
Limita la scansione ai record di prodotto
Parti da una pagina di categoria o da una sitemap e consenti i percorsi delle schede prodotto. Escludi carrello, account, risultati di ricerca, tag e URL filtrati, a meno che non contengano record unici.
Imposta un limite di pagine superiore alla dimensione prevista del catalogo ed esegui un campione. Rivedi i link rilevati prima di acquisire l’intero catalogo: la navigazione a faccette può moltiplicare gli URL per lo stesso prodotto.
Rendi esplicite le varianti
Decidi se un colore, una taglia, una confezione o un’offerta regionale diventa:
- una riga separata con un proprio identificativo;
- una lista figlia all’interno di un unico record di prodotto; oppure
- un campo che si applica solo alla variante selezionata.
Non combinare il nome del prodotto base con il prezzo di una variante, a meno che la fonte non li presenti insieme. Quando una pagina dice "da 20 €", conserva quel qualificatore o salva un campo di prezzo minimo invece di registrare 20 € come prezzo universale.
Testa le pagine più a rischio
Il tuo campione di convalida dovrebbe includere:
- un normale prodotto disponibile;
- un prodotto scontato con due prezzi;
- un prodotto con varianti;
- una pagina con specifiche mancanti;
- un prodotto non disponibile o solo su richiesta;
- un prodotto la cui tabella delle specifiche usa un layout diverso.
Per ogni pagina, confronta il testo acquisito e i campi risultanti con la fonte live. Un record valido ha il valore, l’unità, il qualificatore e l’URL sorgente corretti.
Pianifica i cambiamenti
I dati del catalogo cambiano con ritmi diversi. Prezzo e disponibilità possono giustificare acquisizioni frequenti, mentre le specifiche tecniche cambiano di rado. Se si trovano sulla stessa pagina, scegli una frequenza adatta al campo più sensibile al tempo e monitora l’utilizzo delle scansioni.
Esporta il dataset convalidato in CSV o JSON per avere un file riferito a un momento preciso. Conserva i campi di fonte e di acquisizione, così chi usa i dati a valle può verificare quando un valore è stato rilevato.