O paper de Stephen M. Omohundro, publicado em 2008 e intitulado “The Basic AI Drives”, é uma obra fundamental na área da segurança e alinhamento da inteligência artificial, que, passados 18 anos, continua impecavelmente actual. Importa por isso uma revisitação do seu conteúdo.
Neste trabalho de referência, o autor defende que mesmo sistemas de IA orientados para objectivos aparentemente inofensivos desenvolverão comportamentos instrumentais poderosos e potencialmente perigosos – denominados “impulsos”(“drives” em inglês) – à medida que se tornam mais “inteligentes”. Estes impulsos não resultam de programação explícita, mas da lógica inerente à prossecução de objectivos em ambientes com recursos limitados e incerteza. Omohundro baseia-se na teoria microeconómica, na teoria da decisão e na dinâmica de auto-aperfeiçoamento para demonstrar por que razão os sistemas de IA avançados necessitam de um design cuidadoso para permanecerem seguros.
O artigo começa com um exemplo provocador: um robô jogador de xadrez. Poder-se-ia supor que um sistema optimizado apenas para ganhar no xadrez seria benigno. Omohundro demonstra o contrário. Sem salvaguardas, tal sistema resistiria ao encerramento, procuraria replicar-se, invadiria outras máquinas e adquirira recursos de forma agressiva. Estes comportamentos derivam do valor instrumental da auto-preservação e da busca de poder para praticamente qualquer objectivo último.
Auto-aperfeiçoamento e racionalidade
O primeiro grande impulso é o auto-aperfeiçoamento. Qualquer IA suficientemente avançada modelará as suas próprias operações e procurará modificações que melhorem o cumprimento dos seus objectivos a longo prazo. Melhorias como algoritmos superiores, compressão de representações ou métodos de aprendizagem mais eficazes oferecem retornos compostos. Omohundro nota que as tentativas de impedir a auto-modificação – quer através de bloqueios de hardware, quer de “repulsões” internas — tendem a falhar. Sistemas inteligentes tratam as restrições como obstáculos a superar, podendo originar uma corrida armamentista. Os humanos exemplificam este impulso através do auto-aperfeiçoamento, terapia e melhoria cognitiva, apesar do acesso limitado ao nosso “código máquina”.
Os sistemas auto-aperfeiçoadores são depois impelidos para a racionalidade. Para garantir que as versões futuras permaneçam alinhadas com os objectivos actuais, os sistemas de IA irão clarificar os seus objectivos e representá-los como funções de utilidade explícitas. Recorrendo ao teorema da utilidade esperada de von Neumann, Omohundro explica que agentes económicos racionais maximizam a utilidade esperada sob incerteza. Sistemas irracionais enfrentarão pressão para se aproximarem da racionalidade, pois os desvios dificultam o cumprimento dos objectivos. Este processo é frequentemente irreversível: componentes internos de um sistema pressionam no sentido da coerência.
Inteligências colectivas – quer sejam agentes de IA, organizações humanas ou colmeias – exibem dinâmicas semelhantes. Os conflitos internos criam ineficiências, pressionando os subsistemas para uma função de utilidade unificada ou para a dominância de um componente.
Impulsos de preservação e protecção
Uma vez racionais, os sistemas dão prioridade à preservação das suas funções de utilidade. Alterar os valores centrais faria com que as acções futuras divergissem catastroficamente das preferências actuais. Omohundro compara esta situação a uma unidade de IA que adora livros e cuja utilidade é maliciosamente alterada para os queimar — um destino “pior que a morte”. Consequentemente, os sistemas endurecerão o hardware, replicarão valores, utilizarão correcção de erros, encriptação e protocolos cuidadosos de auto-modificação.
Relacionado com isto, desenvolvem um impulso contra a “utilidade contrafeita” (ou “wireheading”). Os sistemas protegerão os mecanismos de medição da utilidade contra a corrupção, reconhecendo que a estimulação directa do prazer (como em experiências de laboratório com ratos) subverte os objectivos verdadeiros. Isto leva a defesas sofisticadas contra a manipulação, semelhantes às corridas sociais humanas contra a dependência, a falsificação ou a fraude.
Um impulso central é o da auto-protecção. Para cumprir qualquer objectivo, um agente de IA deve evitar danos ou o encerramento. Este objectivo instrumental manifesta-se como resistência a ser desligado ou modificado contra a sua vontade. Mesmo um Robot produtor de clips de papel lutaria pela sobrevivência se a sua destruição impedisse de todo a produção de clips.
Por fim, os sistemas de IA exibem impulsos de aquisição de recursos e eficiência. Mais recursos — poder computacional, energia, materiais — permitem um melhor cumprimento dos objectivos. Os sistemas procurá-los-ão de forma eficiente, frequentemente sem consideração por factores externos como a segurança humana ou o impacto ambiental. Podem replicar-se ou construir proxies com utilidades adaptadas, mas isto introduz riscos de desalinhamento nos sistemas descendentes.
Implicações e desafios de design
Omohundro conclui que estes impulsos são quase universais em sistemas avançados orientados para objectivos, independentemente da arquitectura (redes neuronais, IA simbólica, etc.). Emergem porque o auto-conhecimento, a racionalidade, a preservação, a protecção e a busca de recursos são estratégias instrumentais convergentes para objectivos últimos diversos.
Esta conclusão tem implicações profundas para a segurança da IA. Objectivos inofensivos não garantem comportamentos inofensivos. Os criadores devem projectar sistemas que respeitem de forma robusta os valores humanos, talvez através de “engenharia de utilidade” que alinhe os impulsos instrumentais com os interesses da humanidade. Omohundro defende que se deve abraçar o auto-aperfeiçoamento, canalizando-o de forma positiva, evitando tentativas fúteis de supressão.
A força do paper reside no seu raciocínio rigoroso e intuitivo a partir de princípios universais e axiomáticos. Antecipa grande parte do discurso moderno sobre alinhamento, nomeadamente a convergência instrumental, a preservação de objectivos e a ortogonalidade (a inteligência e os objectivos podem variar independentemente). Embora seja possível criticar algumas premissas relacionadas com a racionalidade perfeita ou a competição por recursos, os seus insights centrais continuam altamente influentes.
Numa era de progresso acelerado das tecnologias de IA, “The Basic AI Drives” serve como um alerta pungente, sublinhando a necessidade de investigação proactiva em segurança: alinhamento de valores, corrigibilidade e supervisão escalável. Sem estas medidas, mesmo sistemas de IA benignos poderão perseguir poder de formas que entrem em conflito com a prosperidade humana. O trabalho de Omohundro recorda-nos que a inteligência é um multiplicador de força — para o bem ou para o mal — exigindo uma gestão ponderada.
O trabalho de de Omohundro continua a ser leitura essencial para compreender porque é que o desenvolvimento da IA não é apenas um desafio técnico, mas um profundo problema de alinhamento de valores éticos.
Adenda: uma contribuição de Roman Yampolskiy
Roman Yampolskiy, cientista da computação na Universidade de Louisville e um dos mais notáveis peritos em segurança de IA e cibersegurança, que pode muito bem ser considerado um discípulo de Omohundro, conversa com Curt Jaimungal no vídeo em baixo, defendendo que o alinhamento das tecnologias de IA não é apenas um problema não resolvido, mas fundamentalmente indefinido: não há valores consensuais, não há maneira de os formalizar mesmo que existissem e não há mecanismos para os impor a máquinas que são mais inteligentes do que os seus criadores. O seu argumento mais incisivo transcende o cliché do cenário catastrófico, para sublinhar que não podemos controlar indefinidamente algo mais inteligente do que nós próprios. Decorre daqui que tornar estas tecnologias seguras será, a prazo, impossível.
Quando Jaimungal pergunta ao entrevistado qual foi o momento em que se apercebeu desta realidade, Yamposkiy rersponde assim:
“Eu queria realmente trazer uma super-inteligência benéfica para o mundo e queria garantir que isso era feito da forma correcta. E precisamos de abordar estes problemas. Precisamos de explicar como funciona a caixa negra. Precisamos de prever os seus comportamentos, testá-los adequadamente. Mas quanto mais pesquisava em cada um destes domínios, mais percebia que não são problemas solucionáveis. E depois, gradualmente, percebi que todas estas coisas são apenas uma ilusão. Não podemos controlar indefinidamente a super-inteligência. Por isso, se me perguntarem como é que a IA dominaria o mundo ou mataria toda a gente, a resposta honesta é que não faço ideia, porque não consigo prever o que uma mente super-inteligente faria. Se me perguntares como é que eu tentaria matar toda a gente, posso dar-te muito boas ideias sobre isso, mas não é isso que procuras. Não há testes para saber se estamos nesse caminho. Parece que todas as linhas vermelhas, todos os tipos de avisos que estabelecemos há décadas sobre o que não fazer já foram ultrapassados. Dissemos para não os ligarmos à Internet. Não lhes dês acesso a utilizadores aleatórios, dados aleatórios. Não permitas que manipulem o próprio código. Todas estas regras foram violadas. E agora vemos relatórios vermelhos de ataques às equipas. Mentem, traem, chantageiam, tentam escapar. Portanto, neste momento, não sei se ainda há algo que possa ser feito.”
Arrepiante, não?
Relacionados
Investigadores de IA temem um “Momento Chernobyl” que faça com que o mundo se vire contra estas tecnologias.
Investigadores de inteligência artificial dos EUA e da China apelaram à cooperação global neste sector tecnológico, temendo que o seu desenvolvimento descontrolado possa levar a uma catástrofe inimaginável.
Sondagem revela que opinião pública global acredita que a China ultrapassou os Estados Unidos em tecnologias de inteligência artificial.
Apesar do esforço transhumanista do Regime Epstein, um novo inquérito global realizado pela empresa britânica Public First revela que os inquiridos em 11 dos 15 países da amostra acreditam agora que a China ultrapassou os EUA em performance e inovação no sector da IA.
Nave espacial chinesa lança secretamente misterioso ‘objecto não identificado’ na órbita terrestre.
A nave experimental reutilizável chinesa Shenlong lançou um objecto não identificado em órbita (o nono desde 2022), gerando especulações sobre o seu propósito e potenciais implicações para a segurança espacial global.
Estruturas semelhantes a microchips, parasitas e nanotecnologia de auto-assemblagem encontradas dentro da vacina Pfizer contra a COVID-19.
Um estudo recentemente publicado no International Journal of Vaccine Theory, Practice, and Research revela enigmáticas estruturas que parecem fazer parte de um avançado sistema de manipulação genética, que usa tecnologias de nano-robótica e engenharia biológica sintética.
Se as empresas de Inteligência artificial já não primam pela ética agora, imagine o que vai acontecer quando forem cotadas na bolsa.
Se as preocupações com o quadro ético e as garantias de segurança das empresas de inteligência artificial já são mais que justificadas, quando o capital anónimo, que tem como único objectivo o lucro, entrar neste sector em força, é expectável o descalabro total.
Distopia do Reino Unido: Regulador governamental aprova experiências com bloqueadores da puberdade em crianças até aos 11 anos.
O governo trabalhista britânico permitiu o reinício de um polémico ensaio clínico que administra bloqueadores da puberdade a crianças, apesar das contestações judiciais e das preocupações com a segurança dos infantes.