Regola l’ambito di acquisizione
L’ambito è il modo in cui dici a un job di acquisizione dati dove può andare e quanto prendere. Impostalo bene e acquisirà esattamente i contenuti che vuoi: niente di più, niente di meno.
Prima di iniziare
- Apri il job del sito web.
- Sappi quali pagine devono rientrare e quali no.
Passaggi
- Apri la pagina di dettaglio del job da Acquisizione dati.
- Scegli Edit properties per aprire il modulo di configurazione.
- Apri le impostazioni Navigation: è qui che si trovano tutti i controlli dell’ambito.
- Rivedi gli URL iniziali (da dove parte il job) e l’elenco degli hostname. Il job seguirà solo i link che corrispondono a uno degli hostname consentiti, quindi se il tuo sito usa sottodomini (ad es.
docs.acme.comeblog.acme.com), aggiungili tutti. - Aggiungi dei percorsi inclusi per limitare il job a sezioni specifiche. Ad esempio,
*/docs/*mantiene solo le pagine il cui URL contiene/docs/. Se lasci vuoto questo campo, il job visita tutto ciò che si trova sugli hostname consentiti. - Aggiungi dei percorsi esclusi per le aree da saltare: pagine di login, pannelli di amministrazione, archivi dei tag e così via. I percorsi esclusi hanno la precedenza su quelli inclusi, quindi puoi includere una sezione ampia e ritagliare delle eccezioni al suo interno.
- Imposta la profondità di scansione (quanti salti di link dagli URL di partenza percorrerà il job) e il numero massimo di contenuti (un limite assoluto al numero di pagine elaborate in una singola esecuzione).
- Salva la configurazione aggiornata.
Esempi di regole sui percorsi
I percorsi inclusi ed esclusi sono pattern glob confrontati con il percorso di un URL:
- Mantieni una sola sezione: il percorso incluso */docs/* acquisisce solo la documentazione e ignora tutto il resto. - Elimina il rumore: i percorsi esclusi */login/*, */cart/*, */tag/* scartano le pagine di accesso, di checkout e degli archivi dei tag. - Ritaglia un’eccezione: includi una sezione ampia ed escludi un sottopercorso al suo interno: i percorsi esclusi prevalgono su quelli inclusi.
Verifica il risultato
Riesegui il job, poi controlla i link scoperti e i contenuti aggiornati per vedere il nuovo ambito all’opera.
Risoluzione dei problemi
- Pochi contenuti di solito significano che l’ambito è troppo ristretto.
- Troppi contenuti significano che è troppo ampio.
- Ricorda che un percorso escluso può annullare silenziosamente una pagina che pensavi di aver incluso.