Les propriétaires de sites Web peuvent utiliser un fichier robots.txt pour indiquer aux robots d’exploration d’IA participants de ne pas utiliser leur contenu pour entraîner des modèles. OpenAI, Google, Microsoft et Anthropic soutiennent un signal de désactivation commun, mais son efficacité dépend de la volonté des robots d’exploration de le respecter.
Le fichier se trouve dans le répertoire racine d’un site Web et fournit des instructions aux robots. Pour bloquer tous les robots d’exploration d’IA qui respectent ces instructions, les propriétaires de sites peuvent ajouter une section intitulée « # AI crawlers » et y inclure « Disallow: / ». Ils peuvent également cibler un robot d’exploration particulier en le nommant dans une ligne « User-agent », ou restreindre l’accès à des chemins spécifiques. Le fichier mis à jour doit ensuite être placé dans les fichiers sources du site Web.
Robots.txt ne constitue pas une barrière technique : les robots qui ignorent ses instructions peuvent toujours accéder à un site. OpenAI a encouragé d’autres fournisseurs d’IA à respecter le signal, mais cette méthode est surtout utile contre les robots d’exploration qui s’y conforment.
Parmi les autres options figurent l’obligation pour les visiteurs de se connecter, la limitation du nombre de requêtes provenant d’une adresse IP et l’utilisation de CAPTCHA. Chacune présente des inconvénients. L’obligation de se connecter peut décourager les internautes de visiter un site, tandis que les limites liées aux adresses IP risquent d’être moins efficaces contre les robots d’extraction de données qui changent régulièrement d’adresse. Les CAPTCHA peuvent frustrer les utilisateurs et ne pas arrêter les systèmes d’IA les plus performants.
Ces mesures peuvent contribuer à réduire l’extraction de données non souhaitée, mais elles peuvent aussi nuire à l’expérience des visiteurs légitimes. Les propriétaires de sites Web doivent tenir compte de ce compromis lorsqu’ils choisissent les moyens de restreindre l’accès.
Sources: TechRadar.