I proprietari di siti web possono usare un file robots.txt per comunicare ai crawler di IA che aderiscono all’iniziativa di non usare i loro contenuti per addestrare modelli. OpenAI, Google, Microsoft e Anthropic sostengono un segnale condiviso di opt-out, anche se la regola dipende dalla scelta dei crawler di rispettarlo.
Il file si trova nella directory principale di un sito web e fornisce istruzioni ai bot. Per bloccare tutti i crawler di IA che rispettano le istruzioni, i proprietari dei siti possono aggiungere una sezione intitolata “# AI crawlers” e includere “Disallow: /”. Possono anche indicare un crawler specifico nominandolo con una riga “User-agent”, oppure limitare l’accesso a percorsi particolari. Il file aggiornato deve poi essere inserito nei file sorgente del sito web.
Robots.txt non è una barriera tecnica: i bot che ignorano le sue istruzioni possono comunque accedere a un sito. OpenAI ha incoraggiato altri fornitori di IA a rispettare il segnale, ma questo approccio è più utile contro i crawler che si attengono alle regole.
Altre opzioni includono richiedere ai visitatori di accedere, limitare il numero di richieste provenienti da un indirizzo IP e usare captcha. Ognuna presenta degli svantaggi. L’obbligo di accesso può scoraggiare le persone dal visitare il sito, mentre i limiti basati sugli IP possono essere meno efficaci contro gli scraper che ruotano gli indirizzi. I captcha possono frustrare gli utenti e potrebbero non fermare i sistemi di IA più sofisticati.
Queste misure possono contribuire a ridurre lo scraping indesiderato, ma possono anche compromettere l’esperienza dei visitatori legittimi. Nel decidere come limitare l’accesso, i proprietari dei siti web devono valutare questo compromesso.
Fonti: TechRadar.