Gli sforzi per la sicurezza dell’IA si concentrano spesso su ciò che i sistemi possono fare e su come vengono monitorate le loro azioni. Ma, prima di agire, un agente di IA deve decidere di quali informazioni fidarsi; e le origini di tali informazioni possono essere difficili da rintracciare.
L’articolo richiama un avvertimento di Jakub Pachocki, chief scientist di OpenAI, contenuto in “An Alien Mind”. Pachocki ha sostenuto che i metodi attuali di allineamento e monitoraggio potrebbero faticare a tenere il passo con i progressi dell’intelligenza artificiale, in particolare se l’IA avrà un ruolo crescente nel migliorare l’IA stessa e resterà meno tempo per la supervisione umana.
I sistemi di IA possono attingere a risultati di ricerca, archivi aziendali, articoli scientifici e materiali generati da altri strumenti di IA. Quando le informazioni vengono copiate e riassunte su vari siti web, il loro legame con le prove originali può indebolirsi. Una risposta ben formulata dell’IA può anche combinare ricerche sottoposte a revisione paritaria, dichiarazioni aziendali e post anonimi senza rendere chiare le differenze nel grado di autorevolezza delle fonti.
Le prove contraddittorie rappresentano un’altra sfida. Le fonti possono giungere a conclusioni diverse, soprattutto in ambiti come la medicina, la finanza, la politica e le tecnologie emergenti. I sistemi ottimizzati per fornire risposte utili possono ridurre tali divergenze a un’unica conclusione, nascondendo un’incertezza che dovrebbe restare visibile.
La questione diventa più importante quando l’IA può agire. Un agente potrebbe effettuare un’operazione di borsa, autorizzare un acquisto, modificare un software o inviare un messaggio. Se una di queste decisioni si basa su un’affermazione incerta, questa può diventare il presupposto di un’azione difficile da annullare. Anche i revisori umani possono avere difficoltà a verificare le prove sottostanti quando l’IA ha consultato una quantità di materiali molto maggiore di quella che loro stessi possono esaminare.
L’articolo sostiene che una supervisione efficace richieda una registrazione verificabile delle informazioni che hanno influenzato una conclusione, dell’origine delle affermazioni e dell’affidabilità delle relative fonti. Cita inoltre la preoccupazione di Pachocki secondo cui il monitoraggio della catena di pensiero sta diventando meno affidabile man mano che il ragionamento dell’IA si fa più complesso, insieme al suo appello a introdurre soglie di sicurezza applicabili da revisori esterni e istituzioni pubbliche.
Per sostenere questa supervisione, le affermazioni dovrebbero essere accompagnate da informazioni sulla loro provenienza, mantenute anche quando i contenuti vengono copiati o trasformati. I revisori dovrebbero poter ricondurre le dichiarazioni alle rispettive fonti, esaminare le prove a sostegno e vedere dove le fonti attendibili sono in disaccordo. Per un agente autonomo, l’incertezza potrebbe indurre a svolgere ulteriori ricerche, chiedere l’approvazione umana o limitare l’azione.
L’articolo chiede inoltre standard condivisi per la tracciabilità delle fonti, metodi di verifica e regole di responsabilità, sottoposti a controllo indipendente e alla partecipazione di più istituzioni. L’argomento centrale è che le misure di sicurezza comportamentale e l’approvazione umana, da sole, non bastano: prima di fidarsi di un agente e lasciarlo agire, le persone devono poter esaminare le informazioni alla base delle sue decisioni.
Fonti: TechRadar.