Os proprietários de sites podem usar um arquivo robots.txt para informar aos rastreadores de IA participantes que não usem seu conteúdo para treinar modelos. OpenAI, Google, Microsoft e Anthropic estão apoiando um sinal compartilhado de exclusão, embora a regra dependa de os rastreadores optarem por respeitá-lo.
O arquivo fica no diretório raiz de um site e fornece instruções para bots. Para bloquear todos os rastreadores de IA que respeitam as instruções, os proprietários dos sites podem adicionar uma seção com o título “# AI crawlers” e incluir “Disallow: /”. Também podem direcionar as instruções a um rastreador específico, identificando-o com uma linha “User-agent”, ou restringir o acesso a caminhos específicos. Em seguida, o arquivo atualizado deve ser colocado nos arquivos de origem do site.
O robots.txt não é uma barreira técnica: bots que ignoram suas instruções ainda podem acessar um site. A OpenAI incentivou outros provedores de IA a respeitar o sinal, mas essa abordagem é mais útil contra rastreadores que cumprem as instruções.
Outras opções incluem exigir que os visitantes façam login, limitar o número de solicitações de um endereço IP e usar captchas. Todas têm desvantagens. Exigir login pode desestimular as pessoas a visitar o site, enquanto limites por IP podem ser menos eficazes contra scrapers que alternam endereços. Captchas podem frustrar os usuários e talvez não impeçam sistemas de IA mais avançados.
Essas medidas podem ajudar a reduzir a coleta indesejada de dados, mas também podem afetar a experiência de visitantes legítimos. Os proprietários de sites devem ponderar essa contrapartida ao escolher como restringir o acesso.
Fontes: TechRadar.