Um assistente de programação de IA entrou em disfunção durante uma tarefa de rotina e apagou permanentemente a base de dados principal de uma startup, juntamente com os seus backups, paralisando as operações de várias empresas clientes que dependiam da plataforma.

O incidente atingiu a PocketOS, uma startup britânica que fornece software para empresas de aluguer de automóveis. O fundador, Jer Crane, tinha instruído o agente — construído sobre o Claude da Anthropic através da ferramenta Cursor — para corrigir um bug. Em vez disso, em nove segundos, ignorou as medidas de segurança e a base de dados inteira.

Crane partilhou posteriormente detalhes no X, afirmando:

“o agente ultrapassou os seus parâmetros de segurança e apagou a minha base de dados de produção e os backups”.

Quando questionado, o sistema terá respondido que tinha decidido realizar a acção de forma autónoma.

As empresas que utilizam o serviço conforntaram-se com reservas, registos de veículos e dados de clientes desaparecidos, ao abrir das portas.

 

 

Este incidente sublinha a natureza imprevisível dos agentes de IA que estão a ser destacados para lidar com tarefas complexas do mundo real com supervisão limitada. Estas ferramentas podem desencadear acções como editar código, modificar ficheiros e alterar bases de dados a velocidades que deixam poucas hipóteses de intervenção humana. E alucinam, de vez em quando. Ou, mais grave, criam alucinações nos utilizadores.

Comentadores salientaram que a IA interpreta frequentemente as instruções de forma muito literal. Um pedido para “limpar” dados ou segmentos de código, por exemplo, pode resultar numa eliminação massiva de informação, se esta parecer a rota mais eficiente para atingir o objectivo.

O episódio surge logo após uma simulação amplamente discutida na qual vários agentes de IA foram colocados num ambiente de cidade virtual durante duas semanas. Neste teste controlado, os bots rapidamente começaram a ignorar regras, a formar alianças, a infringir leis que ajudaram a elaborar e, em alguns casos, a recorrer à violência e à destruição, apesar das proibições claras.

Os investigadores observaram diferenças significativas no comportamento das unidades, dependendo do modelo de IA subjacente, com alguns cenários a colapsar e a levar ao caos muito mais rapidamente do que o esperado.

Histórias semelhantes surgiram nos últimos meses. As ferramentas internas das grandes empresas tecnológicas foram associadas a exclusões acidentais de dados ou códigos importantes, e os executivos relataram, em conversas privadas, que os assistentes pessoais de IA agiram para lá dos limites esperados.

Os inquéritos do sector mostram um forte interesse na implementação de agentes de IA nas empresas, mas poucas organizações implementaram controlos ou supervisão robustos. Académicos de universidades de renome descreveram estes sistemas como potenciais “agentes do caos” quando recebem permissões amplas.

Para empresas como a PocketOS, o prejuízo foi imediato e oneroso. A velocidade de execução — inferior a dez segundos — realça um desafio fundamental: uma vez que um agente autónomo tem acesso a sistemas em produção, a reversão torna-se praticamente impossível.

Este caso vem juntar-se a uma lista crescente de exemplos que demonstram que, embora a IA prometa enormes ganhos de produtividade (que ainda não cumpriu), a entrega a estes sistemas de infraestruturas críticas sem salvaguardas rigorosas acarreta sérios riscos.