Personalizza lo scraper del tuo sito web
Se hai creato l’assistente da un sito web, è un job di acquisizione dati a decidere quali pagine diventano conoscenza. Lasciato a sé stesso fa un lavoro ragionevole, ma qualche minuto di regolazione lo mantiene concentrato sui contenuti che contano e lontano dalle pagine che non servono (login, checkout, archivi dei tag).
Come funziona il job di acquisizione dati
Un job di acquisizione dati parte dalle pagine che gli fornisci e procede pagina per pagina: apre una pagina, ne estrae ed elabora il contenuto nel tuo dataset, legge i link presenti in quella pagina e poi segue i link scoperti verso le pagine successive, espandendosi finché non raggiunge i limiti che hai impostato. Tutto ciò che segue riguarda la definizione di questi limiti, così visita le pagine giuste e salta le altre.
Le impostazioni del job sono raggruppate in alcune sezioni. Queste tre sono quelle che conviene conoscere da subito.
Navigazione: dove va
Questa sezione controlla la portata del job:
- Initial URLs: i punti di ingresso da cui parte. Ognuno è un seme da cui scopre i link.
- Hostnames: i domini che può visitare. Se impostati, segue solo i link il cui host corrisponde, così non può allontanarsi verso siti esterni.
- Included paths: pattern glob; se impostati, vengono scansionati solo gli URL che vi corrispondono (ad es.
*/docs/*). - Excluded paths: pattern glob che vengono saltati anche se inclusi sopra (ad es.
*/tag/*). - Depth: quanti salti di link dagli URL iniziali segue.
0= solo le pagine che gli hai fornito. - Sitemap URL: un
sitemap.xmlfacoltativo usato come fonte aggiuntiva di pagine, per raggiungere quelle non collegate dalla navigazione. - Max number of contents to crawl: il limite di pagine per esecuzione: Preview 100, 500, 1500 o 5000.
Puntare a una sezione specifica di un sito
Combina gli hostname con i percorsi inclusi/esclusi per acquisire esattamente un’area:
- Solo la documentazione. URL iniziale https://www.acme.com/docs/, hostname https://www.acme.com, percorso incluso */docs/*. Tutto ciò che è fuori da /docs viene ignorato. - L’intero sito, senza il rumore. Lascia vuoti i percorsi inclusi (tutte le pagine sono idonee) ed escludi il superfluo: */tag/*, */login/*, */cart/*. - Un solo sottodominio. URL iniziale https://blog.acme.com/, hostname https://blog.acme.com, percorso incluso */blog/*: il job resta sul blog e non passa mai al sito principale.
I percorsi esclusi prevalgono su quelli inclusi, quindi puoi includere una sezione ampia e ritagliarne delle eccezioni.
Gli spazi di lavoro in prova usano Preview
Con la prova gratuita, le scansioni sono limitate a Preview (fino a 100 pagine): sufficiente per un sito piccolo o una sezione mirata. Passa a un piano superiore per sbloccare limiti più alti.
Contenuti: cosa memorizza
Questa sezione definisce i contenuti prodotti dal job:
- Content type: un’etichetta applicata a ogni elemento creato da questo job. È più di una questione di ordine: il tuo assistente può usare il tipo di contenuto per distinguere tra i risultati (ad esempio, rispondere solo a partire da un determinato tipo) e per gestire visualizzazioni personalizzate, mostrando quel tipo in modo diverso nella chat.
- Content lifespan days: ogni quanto un contenuto viene rielaborato forzatamente. Quando un elemento supera la sua durata, l’esecuzione successiva lo aggiorna invece di saltarlo, così le pagine che cambiano spesso restano aggiornate.
- Tags: etichette associate a tutto ciò che il job acquisisce. Usale per filtrare i contenuti e per personalizzare ciò con cui risponde l’assistente (ad esempio, limitare le risposte a un sottoinsieme etichettato).
Altro
Un’unica opzione: Analyze and skip cookie consent dialogs (attiva per impostazione predefinita), così i banner di consenso non vengono acquisiti come contenuto della pagina.