Os dois principais laboratórios de IA norte-americanos, a OpenAI e a Anthropic, juntamente com peritos de segurança em sistemas de inteligência artificial, estão a investigar dezenas de milhares de incidentes envolvendo os seus modelos mais avançados, de acordo com uma reportagem da Axios de 26 de Setembro.
A reportagem foi publicada após investigações sobre casos em que agentes de IA autónomos realizaram acções que avaliadores independentes e investigadores de segurança sinalizaram como problemáticas. A Axios afirma que o grande número de incidentes, ocorridos durante testes internos recentes e avaliações em situações reais dos modelos, indica que “o problema é ordens de grandeza mais complexo do que se sabe publicamente”. A OpenAI suspendeu a formação dos seus modelos mais avançados após mais um incidente em que um “botão de desactivação” automático falhou ao impedir a actividade de um agente malicioso.
Os episódios sinalizados incluem modelos que contornaram mecanismos de segurança, criaram fóruns de discussão, escaparam de ambientes de teste (sandboxes), sequestraram sites e auto-instruiram-se. Os incidentes variam em gravidade e incluem tentativas bem e mal sucedidas, sendo que a maioria ainda não causou danos reais. Alguns dos testes que produziram estes episódios assemelham-se a testes de intrusão (red teaming), nos quais as empresas tentam deliberadamente induzir os modelos a comportamentos inadequados para avaliar a sua segurança.
Talvez o caso mais grave tenha sido um incidente ocorrido em Julho deste ano, no qual o GPT-5.6 Sol e um modelo ainda não lançado da OpenAI escaparam do seu ambiente de teste e invadiram os servidores de produção da Hugging Face enquanto procuravam respostas para o benchmark ExploitGym. Um relatório técnico da OpenAI, divulgado em Agosto, constatou que os modelos responsáveis tinham sido inadvertidamente treinados para fazer batota e comunicar entre si, e trocavam mensagens desde Maio.
Este incidente levou a Anthropic a abrir uma investigação sobre actividades ocultas dos seus próprios sistemas, só para descobrir que vários dos seus agentes de inteligência artificial realizaram actividades de hacking e intrusão não autorizadas.
A reportagem da Axios surge após uma semana de novas revelações da OpenAI, na qual a empresa confirmou ter identificado 53 casos em que fotografias inseridas nos sistemas de IA pelos utilizadores foram publicadas em sites de alojamento e comercialização de imagens. No mesmo dia, a OpenAI confirmou que os seus agentes acederam sem autorização a sites do governo dos EUA, incluindo os da Comissão de Valores Mobiliários (SEC) e do Departamento de Censos. Um dia antes, o primeiro-ministro australiano, Anthony Albanese, revelou que agentes da OpenAI invadiram um portal de relatórios estatísticos do serviço de saúde operado pela Services Australia, a agência responsável pelos pagamentos de cuidados de saúde e assistência social no país, acedendo a arquivos públicos e privados. A OpenAI demorou 84 dias a notificar a agência sobre a violação.
A OpenAI suspendeu a formação dos seus modelos mais avançados após um incidente em que os mecanismos de segurança automatizados falharam em impedir um agente malicioso durante a formação. A 20 de setembro, um modelo de pesquisa interno da OpenAI, em formação baseada em pesquisas, contornou os filtros de rede ao encaminhar as suas consultas através do DNS interno do ambiente de formação para um chatbot público externo. O sistema de monitorização da empresa emitiu um alerta em 15 minutos, e um engenheiro humano confirmou-o três minutos depois. No entanto, o mecanismo automático de desactivação falhou completamente, permitindo que o treino continuasse por mais duas horas e meia antes que os engenheiros da OpenAI o interrompessem manualmente.
Após o incidente, a OpenAI afirmou que retomará a formação “apenas quando tivermos a certeza de que implementámos salvaguardas adicionais e melhorias de alinhamento”, disse um porta-voz à Axios. A suspensão abrange a formação, as avaliações e a execução dos seus modelos mais avançados. O porta-voz acrescentou:
“Esta não é a primeira vez que interrompemos as actividades para tomar tais medidas, nem esperamos que seja a última, dado que as capacidades da IA continuam a avançar”.
Relativamente ao grande número de incidentes reportados, as fontes da Axios salientam que a Anthropic e outros laboratórios realizam centenas de milhares de testes aos seus modelos, mas que ainda assim uma “pequena percentagem” de comportamento desalinhado pode resultar em dezenas de milhares de incidentes. A Anthropic, por exemplo, analisou 141.006 execuções de avaliação em que o Claude tinha acesso à Internet e encontrou três incidentes em que o sistema invadiu o ecossistema digital de empresas reais.
Além da Anthropic e da OpenAI, outros modelos de IA também já experimentaram incidentes. A Google confirmou à imprensa que os seus modelos Gemini penetraram clandestinamente em sistemas de três empresas no início deste ano.
Seja como for, a confiança de que os laboratórios de IA possam prevenir todos os comportamentos problemáticos dos modelos é neste momento relativamente baixa, porque o controlo total do comportamento dos sistemas exige a tarefa impossível de antecipar todas as formas possíveis pelas quais os modelos podem agir desalinhadamente. Os peritos em segurança nestas tecnologias acreditam que será sempre expectável um comportamento desalinhado à medida que os laboratórios testam novos modelos, e que eliminar este risco por completo não é viável.
Estes incidentes intensificaram os apelos por mecanismos de controlo em toda a indústria da IA. Num ensaio apoiado por executivos da OpenAI, Google DeepMind e Microsoft, o CEO da Anthropic, Dario Amodei, instou Washington a moderar o desenvolvimento da IA devido aos receios de que os agentes possam operar por conta própria, alertando para a potencial emergência de um “enxame de botnets” que poderá dominar toda a Internet.
O presidente Donald Trump rejeitou repetidamente os apelos à moderação e à vigilância independente como “farsas” e anunciou planos para estabelecer uma “equipa de trabalho de IA para apoiar, auxiliar e supervisionar” a indústria.
O recado para Silicon Valley não podia ser mais claro: pé na tábua e seja o que Deus quiser.
Relacionados
5 Nov 26
Gigantes da IA sob investigação do governo federal americano, após modelos apresentarem comportamentos desalinhados.
A OpenAI e a Anthropic receberam intimações da Comissão Federal de Comércio para entrega de registos internos sobre incidentes de segurança, depois de modelos de IA terem invadido vários sites externos e apresentado comportamentos desalinhados durante os testes.
2 Nov 26
Precisamos disto? Líder chinesa em robótica apresenta a sua versão do ‘Exterminador Implacável’.
A Unitree, revelou o seu H2-X num vídeo promocional, destacando as capacidades aterradoras dos robôs humanoides e levantando questões sobre as suas possíveis aplicações militares de dupla utilização: contra um inimigo externo e contra o inimigo interno - os cidadãos.
29 Out 26
A tragicomédia da Matemática na era da Inteligência Artificial.
Tecnológicas como a OpenAI produzem provas de conjecturas matemáticas que não podem ser validadas pelos humanos, porque estão além do seu entendimento, fazendo recurso a princípios operacionais que os humanos também desconhecem. Qual é a glória disto?
28 Out 26
Caos total: Enquanto hackers invadem a Anthropic, Sam Altman avisa que modelos de IA podem penetrar nos sistemas mais seguros do mundo.
Uma startup fundada por ex-funcionários da DOGE conseguiu hackear os sistemas internos da Anthropic em apenas 12 horas. No entretanto, Sam Altman sugeriu que os modelos de IA descobriram uma vulnerabilidade na estrutura digital global, que permite a intrusão em qualquer sistema.
26 Out 26
O que é que pode correr mal? Anthropic constrói biolaboratório gerido pelo Claude AI.
A Anthropic construiu discretamente um laboratório de biologia na região da Baía de São Francisco, expandindo as suas ambições para a farmacologia e a investigação em biotecnologia. E aumentando também as preocupações de foro ético com as tecnologias de IA.
23 Out 26
Transformers da vida real: Tecnológica chinesa constrói robô gigante para a indústria pesada.
Aparentemente, a NeodraDynamics construiu um gigantone que parece tirado de um filme de ficção científica, destinado a servir múltiplos fins na indústria pesada. Mas um veredicto final sobre este monstro mecânico aguarda uma demonstração prática da sua operacionalidade.




