Websitebetreiber können eine robots.txt-Datei verwenden, um teilnehmenden KI-Crawlern mitzuteilen, dass sie ihre Inhalte nicht zum Trainieren von Modellen nutzen sollen. OpenAI, Google, Microsoft und Anthropic unterstützen ein gemeinsames Opt-out-Signal. Die Regel funktioniert jedoch nur, wenn sich die Crawler daran halten.
Die Datei liegt im Stammverzeichnis einer Website und enthält Anweisungen für Bots. Um alle KI-Crawler zu blockieren, die diese Anweisungen beachten, können Websitebetreiber einen Abschnitt mit der Überschrift „# AI crawlers“ hinzufügen und darin „Disallow: /“ einfügen. Sie können auch einen bestimmten Crawler ansprechen, indem sie ihn in einer „User-agent“-Zeile benennen, oder den Zugriff auf bestimmte Pfade beschränken. Anschließend muss die aktualisierte Datei in den Quelldateien der Website abgelegt werden.
Robots.txt ist keine technische Barriere: Bots, die die Anweisungen ignorieren, können weiterhin auf eine Website zugreifen. OpenAI hat andere KI-Anbieter dazu aufgerufen, das Signal zu beachten. Der Ansatz ist jedoch vor allem bei regelkonformen Crawlern nützlich.
Weitere Möglichkeiten sind, Besucher zur Anmeldung aufzufordern, die Anzahl der Anfragen von einer IP-Adresse zu begrenzen und Captchas einzusetzen. Jede dieser Maßnahmen hat Nachteile. Eine Anmeldepflicht kann Menschen davon abhalten, eine Website zu besuchen, während IP-Beschränkungen bei Scraping-Bots, die ihre Adressen wechseln, weniger wirksam sein können. Captchas können Nutzer frustrieren und leistungsfähigere KI-Systeme möglicherweise nicht aufhalten.
Diese Maßnahmen können unerwünschtes Scraping eindämmen, aber auch das Erlebnis legitimer Besucher beeinträchtigen. Websitebetreiber müssen diesen Zielkonflikt bei der Entscheidung darüber abwägen, wie sie den Zugriff beschränken.
Quellen: TechRadar.