Los esfuerzos por garantizar la seguridad de la IA suelen centrarse en lo que se permite hacer a los sistemas y en cómo se supervisan sus acciones. Pero, antes de actuar, un agente de IA debe decidir en qué información confiar, y puede resultar difícil rastrear el origen de esa información.

El artículo señala una advertencia de Jakub Pachocki, científico jefe de OpenAI, en «An Alien Mind». Pachocki sostuvo que los métodos actuales de alineación y supervisión podrían tener dificultades para seguir el ritmo de los avances en inteligencia artificial, particularmente si la IA desempeña un papel cada vez mayor en la mejora de la propia IA y deja menos tiempo para la supervisión humana.

Los sistemas de IA pueden recurrir a resultados de búsquedas, registros de empresas, artículos de investigación y material generado por otras herramientas de IA. A medida que la información se copia y se resume en distintos sitios web, puede debilitarse su vínculo con las pruebas originales. Una respuesta pulida de IA también puede combinar investigaciones revisadas por pares, declaraciones corporativas y publicaciones anónimas sin dejar claras sus diferencias en cuanto a autoridad.

Las pruebas contradictorias plantean otro desafío. Las fuentes pueden llegar a conclusiones distintas, especialmente en ámbitos como la medicina, las finanzas, la política y las tecnologías emergentes. Los sistemas optimizados para ofrecer respuestas útiles pueden reducir esas discrepancias a una sola conclusión y ocultar una incertidumbre que debería seguir siendo visible.

Esto importa más cuando la IA puede actuar. Un agente podría realizar una operación bursátil, aprobar una compra, modificar un programa o enviar un mensaje. Si una afirmación incierta influye en una de esas decisiones, puede convertirse en la base de una acción difícil de revertir. A los revisores humanos también les puede resultar complicado comprobar las pruebas subyacentes cuando la IA ha consultado mucho más material del que ellos pueden examinar por sí mismos.

El artículo sostiene que una supervisión eficaz exige un registro auditable de la información que influyó en una conclusión, el origen de las afirmaciones y el grado de fiabilidad de sus fuentes. También cita la preocupación de Pachocki de que la supervisión de la cadena de pensamiento se está volviendo menos fiable a medida que el razonamiento de la IA se hace más complejo, junto con su llamamiento a establecer umbrales de seguridad que auditores externos e instituciones públicas puedan hacer cumplir.

Para respaldar esa supervisión, la procedencia de las afirmaciones tendría que mantenerse vinculada a ellas a medida que la información se copia o transforma. Los revisores deberían poder rastrear las afirmaciones hasta sus fuentes, examinar las pruebas que las respaldan y ver en qué aspectos discrepan las fuentes creíbles. En el caso de un agente autónomo, la incertidumbre podría llevar a investigar más, solicitar aprobación humana o limitar la acción.

El artículo también pide normas compartidas sobre procedencia, métodos de verificación y reglas de rendición de cuentas, sometidos a un escrutinio independiente y con la participación de múltiples instituciones. Su argumento central es que las salvaguardas de comportamiento y la aprobación humana no bastan por sí solas: antes de confiar en que un agente actúe, las personas deben poder examinar la información que sustenta sus decisiones.

Fuentes: TechRadar.