Bei Bemühungen um KI-Sicherheit geht es oft darum, was Systeme tun dürfen und wie ihre Handlungen überwacht werden. Doch bevor ein KI-Agent handelt, muss er entscheiden, welchen Informationen er vertraut – und die Herkunft dieser Informationen lässt sich möglicherweise nur schwer nachvollziehen.

Der Beitrag verweist auf eine Warnung von OpenAI-Chefwissenschaftler Jakub Pachocki in „An Alien Mind“. Pachocki argumentierte, dass bestehende Methoden zur Ausrichtung und Überwachung möglicherweise nicht mit den Fortschritten bei der maschinellen Intelligenz Schritt halten können – insbesondere dann, wenn KI eine zunehmend wichtige Rolle bei der Verbesserung von KI spielt und dadurch weniger Zeit für menschliche Aufsicht bleibt.

KI-Systeme können auf Suchergebnisse, Unternehmensunterlagen, Forschungsarbeiten und von anderen KI-Tools erzeugtes Material zurückgreifen. Wenn Informationen auf verschiedenen Websites kopiert und zusammengefasst werden, kann ihre Verbindung zu den ursprünglichen Belegen schwächer werden. Eine ausgefeilte KI-Antwort kann zudem begutachtete Forschung, Stellungnahmen von Unternehmen und anonyme Beiträge miteinander verbinden, ohne die unterschiedlichen Autoritätsgrade deutlich zu machen.

Widersprüchliche Belege stellen eine weitere Herausforderung dar. Quellen können zu unterschiedlichen Schlussfolgerungen gelangen, insbesondere in Bereichen wie Medizin, Finanzen, Politik und aufstrebenden Technologien. Systeme, die darauf optimiert sind, nützliche Antworten zu liefern, können solche Meinungsverschiedenheiten auf eine einzige Schlussfolgerung reduzieren und dabei Unsicherheiten verschleiern, die sichtbar bleiben sollten.

Das ist umso wichtiger, wenn KI handeln kann. Ein Agent könnte einen Handel tätigen, einen Kauf genehmigen, Software ändern oder eine Nachricht senden. Wenn eine unsichere Behauptung eine solche Entscheidung beeinflusst, kann sie zur Grundlage einer Handlung werden, die sich nur schwer rückgängig machen lässt. Auch menschliche Prüfer könnten Schwierigkeiten haben, die zugrunde liegenden Belege zu kontrollieren, wenn eine KI weit mehr Material durchsucht hat, als sie selbst prüfen können.

Der Beitrag argumentiert, dass wirksame Aufsicht ein überprüfbares Protokoll darüber erfordert, welche Informationen eine Schlussfolgerung beeinflusst haben, woher die Behauptungen stammen und wie vertrauenswürdig ihre Quellen sind. Außerdem verweist er auf Pachockis Sorge, dass die Überwachung von Gedankengängen weniger zuverlässig wird, je komplexer die Schlussfolgerungen von KI ausfallen, sowie auf seine Forderung nach Sicherheitsschwellen, die externe Prüfer und öffentliche Institutionen durchsetzen können.

Um diese Aufsicht zu unterstützen, müsste die Herkunft von Behauptungen nachvollziehbar bleiben, wenn Informationen kopiert oder umgewandelt werden. Prüfer sollten Aussagen bis zu ihren Quellen zurückverfolgen, die stützenden Belege einsehen und erkennen können, wo glaubwürdige Quellen voneinander abweichen. Bei einem autonomen Agenten könnten Unsicherheiten zusätzliche Recherche, menschliche Genehmigung oder eine stärker eingeschränkte Handlung auslösen.

Der Beitrag fordert außerdem gemeinsame Standards zur Herkunftsnachverfolgung, Verifizierungsmethoden und Regeln zur Rechenschaftspflicht, die unabhängiger Prüfung unterliegen und die Beteiligung mehrerer Institutionen vorsehen. Seine zentrale These lautet, dass Verhaltensschutzmaßnahmen und menschliche Genehmigung allein nicht ausreichen: Menschen müssen die Informationen hinter den Entscheidungen eines Agenten prüfen können, bevor sie ihm Handlungen anvertrauen.

Quellen: TechRadar.