Il progetto avviato da Cloudflare e OpenAI a luglio mira a integrare nell'indice di ricerca di ChatGPT le pagine web che i classici motori di ricerca potrebbero lasciarsi sfuggire. Al centro dell'approccio non c'è il monitoraggio dei collegamenti tra i siti, bensì l'utilizzo dei segnali derivanti dal traffico reale degli utenti sulla rete Cloudflare.
I crawler web tradizionali trovano nuove pagine principalmente seguendo i link presenti su altri siti. Sebbene questo metodo copra la maggior parte dei contenuti visibili su Internet, alcune pagine che non ricevono link possono rimanere escluse dai risultati di ricerca. Ad esempio, il manuale d'uso di un prodotto, il menu di una piccola attività o contenuti locali che rispondono a esigenze specifiche potrebbero non essere scoperti se non vengono segnalati da altri siti.
Il nuovo metodo si concentra invece sui modelli di traffico relativi alle pagine effettivamente visitate dagli utenti. I segnali provenienti dalla rete di Cloudflare aiutano a identificare centinaia di milioni di pagine che i crawler tradizionali non riescono a raggiungere. L'obiettivo è quindi creare un indice di contenuti più ampio e diversificato per la ricerca di ChatGPT.
SCANSIONE PIÙ EFFICIENTE CON I SEGNALI DI TRAFFICO
Uno dei possibili vantaggi di questo modello è la riduzione dell'utilizzo delle risorse da parte dei crawler automatici. I crawler inviano talvolta richieste a pagine non più esistenti, contenuti duplicati o indirizzi di scarso valore. L'utilizzo dei segnali di traffico, mostrando quali pagine vengono effettivamente visitate, può contribuire a un uso più efficiente delle risorse di scansione.
Il progetto desta interesse anche sotto il profilo delle valutazioni di sicurezza. Il fatto che una singola pagina di un dominio sia problematica non significa necessariamente che l'intero sito sia dannoso. Effettuare una valutazione a livello di singola pagina potrebbe aiutare a preservare la visibilità di ricerca dei restanti contenuti del sito. Tuttavia, i dettagli su come tali distinzioni vengano applicate tecnicamente all'interno del progetto devono ancora essere chiariti.
L'indicizzazione di un numero maggiore di pagine potrebbe rappresentare un nuovo canale di scoperta per editori e proprietari di siti. D'altra parte, essere inclusi nell'indice non significa automaticamente ottenere più visitatori. Il traffico indirizzato verso i siti web tramite ChatGPT, i tassi di clic e la gestione dell'accesso dei crawler dell'intelligenza artificiale ai contenuti sono tra i temi che determineranno l'impatto del progetto.
Fonte della notizia: 12punto
