Los propietarios de sitios web pueden usar un archivo robots.txt para indicar a los rastreadores de IA participantes que no utilicen su contenido para entrenar modelos. OpenAI, Google, Microsoft y Anthropic respaldan una señal compartida de exclusión voluntaria, aunque su eficacia depende de que los rastreadores decidan respetarla.
El archivo se encuentra en el directorio raíz de un sitio web y proporciona instrucciones a los bots. Para bloquear a todos los rastreadores de IA que respeten esas instrucciones, los propietarios de sitios pueden añadir una sección encabezada por «# AI crawlers» e incluir «Disallow: /». También pueden dirigirse a un rastreador concreto nombrándolo en una línea «User-agent» o restringir el acceso a rutas específicas. Después, deben colocar el archivo actualizado entre los archivos fuente del sitio web.
Robots.txt no es una barrera técnica: los bots que ignoren sus instrucciones todavía pueden acceder a un sitio. OpenAI ha animado a otros proveedores de IA a respetar la señal, pero este método resulta más útil contra los rastreadores que cumplen las instrucciones.
Otras opciones incluyen exigir que los visitantes inicien sesión, limitar el número de solicitudes desde una dirección IP y usar captchas. Todas tienen inconvenientes. Los requisitos de inicio de sesión pueden disuadir a la gente de visitar el sitio, mientras que los límites por IP quizá sean menos eficaces contra los extractores de datos que cambian de dirección. Los captchas pueden frustrar a los usuarios y quizá no detengan a los sistemas de IA más capaces.
Estas medidas pueden ayudar a reducir la extracción de datos no deseada, pero también pueden afectar la experiencia de los visitantes legítimos. Los propietarios de sitios web deben sopesar ese equilibrio al elegir cómo restringir el acceso.
Fuentes: TechRadar.