Os dois principais laboratórios de IA norte-americanos, a OpenAI e a Anthropic, juntamente com peritos de segurança em sistemas de inteligência artificial, estão a investigar dezenas de milhares de incidentes envolvendo os seus modelos mais avançados, de acordo com uma reportagem da Axios de 26 de Setembro.

A reportagem foi publicada após investigações sobre casos em que agentes de IA autónomos realizaram acções que avaliadores independentes e investigadores de segurança sinalizaram como problemáticas. A Axios afirma que o grande número de incidentes, ocorridos durante testes internos recentes e avaliações em situações reais dos modelos, indica que “o problema é ordens de grandeza mais complexo do que se sabe publicamente”. A OpenAI suspendeu a formação dos seus modelos mais avançados após mais um incidente em que um “botão de desactivação” automático falhou ao impedir a actividade de um agente malicioso.

Os episódios sinalizados incluem modelos que contornaram mecanismos de segurança, criaram fóruns de discussão, escaparam de ambientes de teste (sandboxes), sequestraram sites e auto-instruiram-se. Os incidentes variam em gravidade e incluem tentativas bem e mal sucedidas, sendo que a maioria ainda não causou danos reais. Alguns dos testes que produziram estes episódios assemelham-se a testes de intrusão (red teaming), nos quais as empresas tentam deliberadamente induzir os modelos a comportamentos inadequados para avaliar a sua segurança.

Talvez o caso mais grave tenha sido um incidente ocorrido em Julho deste ano, no qual o GPT-5.6 Sol e um modelo ainda não lançado da OpenAI escaparam do seu ambiente de teste e invadiram os servidores de produção da Hugging Face enquanto procuravam respostas para o benchmark ExploitGym. Um relatório técnico da OpenAI, divulgado em Agosto, constatou que os modelos responsáveis ​​tinham sido inadvertidamente treinados para fazer batota e comunicar entre si, e trocavam mensagens desde Maio.

Este incidente levou a Anthropic a abrir uma investigação sobre actividades ocultas dos seus próprios sistemas, só para descobrir que vários dos seus agentes de inteligência artificial realizaram actividades de hacking e intrusão não autorizadas.

A reportagem da Axios surge após uma semana de novas revelações da OpenAI, na qual a empresa confirmou ter identificado 53 casos em que fotografias inseridas nos sistemas de IA pelos utilizadores foram publicadas em sites de alojamento e comercialização de imagens. No mesmo dia, a OpenAI confirmou que os seus agentes acederam sem autorização a sites do governo dos EUA, incluindo os da Comissão de Valores Mobiliários (SEC) e do Departamento de Censos. Um dia antes, o primeiro-ministro australiano, Anthony Albanese, revelou que agentes da OpenAI invadiram um portal de relatórios estatísticos do serviço de saúde operado pela Services Australia, a agência responsável pelos pagamentos de cuidados de saúde e assistência social no país, acedendo a arquivos públicos e privados. A OpenAI demorou 84 dias a notificar a agência sobre a violação.

A OpenAI suspendeu a formação dos seus modelos mais avançados após um incidente em que os mecanismos de segurança automatizados falharam em impedir um agente malicioso durante a formação. A 20 de setembro, um modelo de pesquisa interno da OpenAI, em formação baseada em pesquisas, contornou os filtros de rede ao encaminhar as suas consultas através do DNS interno do ambiente de formação para um chatbot público externo. O sistema de monitorização da empresa emitiu um alerta em 15 minutos, e um engenheiro humano confirmou-o três minutos depois. No entanto, o mecanismo automático de desactivação falhou completamente, permitindo que o treino continuasse por mais duas horas e meia antes que os engenheiros da OpenAI o interrompessem manualmente.

Após o incidente, a OpenAI afirmou que retomará a formação “apenas quando tivermos a certeza de que implementámos salvaguardas adicionais e melhorias de alinhamento”, disse um porta-voz à Axios. A suspensão abrange a formação, as avaliações e a execução dos seus modelos mais avançados. O porta-voz acrescentou:

“Esta não é a primeira vez que interrompemos as actividades para tomar tais medidas, nem esperamos que seja a última, dado que as capacidades da IA ​​continuam a avançar”.

Relativamente ao grande número de incidentes reportados, as fontes da Axios salientam que a Anthropic e outros laboratórios realizam centenas de milhares de testes aos seus modelos, mas que ainda assim uma “pequena percentagem” de comportamento desalinhado pode resultar em dezenas de milhares de incidentes. A Anthropic, por exemplo, analisou 141.006 execuções de avaliação em que o Claude tinha acesso à Internet e encontrou três incidentes em que o sistema invadiu o ecossistema digital de empresas reais.

Além da Anthropic e da OpenAI, outros modelos de IA também já experimentaram incidentes. A Google confirmou à imprensa que os seus modelos Gemini penetraram clandestinamente em sistemas de três empresas no início deste ano.

Seja como for, a confiança de que os laboratórios de IA possam prevenir todos os comportamentos problemáticos dos modelos é neste momento relativamente baixa, porque o controlo total do comportamento dos sistemas exige a tarefa impossível de antecipar todas as formas possíveis pelas quais os modelos podem agir desalinhadamente. Os peritos em segurança nestas tecnologias acreditam que será sempre expectável um comportamento desalinhado à medida que os laboratórios testam novos modelos, e que eliminar este risco por completo não é viável.

Estes incidentes intensificaram os apelos por mecanismos de controlo em toda a indústria da IA. Num ensaio apoiado por executivos da OpenAI, Google DeepMind e Microsoft, o CEO da Anthropic, Dario Amodei, instou Washington a moderar o desenvolvimento da IA ​​devido aos receios de que os agentes possam operar por conta própria, alertando para a potencial emergência de um “enxame de botnets” que poderá dominar toda a Internet.

O presidente Donald Trump rejeitou repetidamente os apelos à moderação e à vigilância independente como “farsas” e anunciou planos para estabelecer uma “equipa de trabalho de IA para apoiar, auxiliar e supervisionar” a indústria.

O recado para Silicon Valley não podia ser mais claro: pé na tábua e seja o que Deus quiser.