Os esforços de segurança da IA costumam se concentrar no que os sistemas podem fazer e em como suas ações são monitoradas. Mas, antes de um agente de IA agir, ele precisa decidir em quais informações confiar — e pode ser difícil rastrear a origem dessas informações.
O artigo aponta para um alerta feito pelo cientista-chefe da OpenAI, Jakub Pachocki, em “An Alien Mind”. Pachocki argumentou que os métodos atuais de alinhamento e monitoramento podem ter dificuldade para acompanhar os avanços da inteligência artificial, especialmente se a IA desempenhar um papel cada vez maior no aprimoramento da própria IA e deixar menos tempo para a supervisão humana.
Os sistemas de IA podem recorrer a resultados de buscas, registros empresariais, artigos de pesquisa e materiais gerados por outras ferramentas de IA. À medida que as informações são copiadas e resumidas em diferentes sites, sua ligação com as evidências originais pode se enfraquecer. Uma resposta bem elaborada da IA também pode combinar pesquisas revisadas por pares, declarações corporativas e publicações anônimas sem deixar claras as diferenças entre seus níveis de autoridade.
Evidências conflitantes representam outro desafio. As fontes podem chegar a conclusões diferentes, sobretudo em áreas como medicina, finanças, política e tecnologias emergentes. Sistemas otimizados para fornecer respostas úteis podem reduzir essas divergências a uma única conclusão, ocultando incertezas que deveriam continuar visíveis.
Isso se torna mais importante quando a IA pode agir. Um agente pode realizar uma operação financeira, aprovar uma compra, alterar um software ou enviar uma mensagem. Se uma afirmação incerta influenciar uma dessas decisões, ela pode servir de base para uma ação difícil de reverter. Os revisores humanos também podem ter dificuldade para verificar as evidências subjacentes quando a IA pesquisou muito mais material do que eles conseguem examinar por conta própria.
O artigo argumenta que uma supervisão eficaz exige um registro auditável das informações que influenciaram uma conclusão, da origem das afirmações e do grau de confiabilidade de suas fontes. Também cita a preocupação de Pachocki de que o monitoramento da cadeia de pensamento está se tornando menos confiável à medida que o raciocínio da IA fica mais complexo, além de seu apelo por limites de segurança que auditores externos e instituições públicas possam fazer cumprir.
Para apoiar essa supervisão, seria necessário que a proveniência das afirmações permanecesse associada a elas à medida que as informações fossem copiadas ou transformadas. Os revisores deveriam poder rastrear declarações até suas fontes, examinar as evidências que as sustentam e ver em que pontos fontes confiáveis divergem. No caso de um agente autônomo, a incerteza poderia levar a pesquisas adicionais, à aprovação humana ou a uma ação mais limitada.
O artigo também defende padrões compartilhados de proveniência, métodos de verificação e regras de responsabilização, sujeitos à análise independente e à participação de várias instituições. Seu argumento central é que salvaguardas comportamentais e aprovação humana não bastam por si só: as pessoas precisam poder examinar as informações por trás das decisões de um agente antes de confiar nele para agir.
Fontes: TechRadar.