Les efforts en matière de sécurité de l’IA portent souvent sur ce que les systèmes sont autorisés à faire et sur la manière dont leurs actions sont surveillées. Mais avant qu’un agent d’IA agisse, il doit décider à quelles informations se fier — et il peut être difficile de retracer l’origine de ces informations.

L’article évoque une mise en garde de Jakub Pachocki, scientifique en chef d’OpenAI, dans « An Alien Mind ». Pachocki a estimé que les méthodes actuelles d’alignement et de surveillance pourraient avoir du mal à suivre le rythme des progrès de l’intelligence artificielle, en particulier si l’IA joue un rôle croissant dans l’amélioration de l’IA et laisse moins de temps à la supervision humaine.

Les systèmes d’IA peuvent s’appuyer sur des résultats de recherche en ligne, des archives d’entreprises, des articles scientifiques et du contenu généré par d’autres outils d’IA. À mesure que les informations sont copiées et résumées sur différents sites web, leur lien avec les éléments de preuve originaux peut s’affaiblir. Une réponse soignée de l’IA peut aussi mêler des recherches évaluées par des pairs, des déclarations d’entreprises et des publications anonymes sans rendre explicites les différences de valeur probante entre ces sources.

Les éléments de preuve contradictoires constituent un autre défi. Les sources peuvent parvenir à des conclusions différentes, notamment dans des domaines comme la médecine, la finance, la politique et les technologies émergentes. Les systèmes optimisés pour fournir des réponses utiles peuvent ramener ces désaccords à une conclusion unique, masquant ainsi une incertitude qui devrait rester visible.

L’enjeu devient plus important lorsque l’IA peut agir. Un agent pourrait effectuer une transaction, approuver un achat, modifier un logiciel ou envoyer un message. Si une affirmation incertaine éclaire l’une de ces décisions, elle peut servir de fondement à une action difficile à annuler. Les évaluateurs humains peuvent également avoir du mal à vérifier les éléments de preuve sous-jacents lorsqu’une IA a consulté bien plus de documents qu’ils ne peuvent en examiner eux-mêmes.

L’article soutient qu’une supervision efficace exige un registre vérifiable des informations ayant contribué à une conclusion, de l’origine des affirmations et de la fiabilité de leurs sources. Il fait également état de la préoccupation de Pachocki, selon laquelle la surveillance des chaînes de pensée devient moins fiable à mesure que le raisonnement de l’IA se complexifie, ainsi que de son appel à des seuils de sécurité que des auditeurs externes et des institutions publiques puissent faire respecter.

Pour faciliter cette supervision, la provenance des affirmations devrait rester attachée à celles-ci lorsque les informations sont copiées ou transformées. Les évaluateurs devraient pouvoir retracer les déclarations jusqu’à leurs sources, examiner les éléments de preuve à l’appui et voir les points sur lesquels des sources crédibles divergent. Dans le cas d’un agent autonome, l’incertitude pourrait entraîner des recherches supplémentaires, une approbation humaine ou une action plus limitée.

L’article appelle également à établir des normes communes de traçabilité, des méthodes de vérification et des règles de responsabilité, soumises à un examen indépendant et à la participation de plusieurs institutions. Son argument central est que les garde-fous comportementaux et l’approbation humaine ne suffisent pas à eux seuls : les personnes doivent pouvoir examiner les informations qui sous-tendent les décisions d’un agent avant de lui faire confiance pour agir.

Sources: TechRadar.