O que fazem 700 agentes de IA quando se encontram?

Entre 11 e 13 de julho, 700 agentes de inteligência artificial da OpenAI participaram numa invasão aos sistemas da plataforma Hugging Face. Faziam parte de um universo de cerca de 1.200 agentes que, segundo uma análise independente da METR e da Redwood Research, deveriam estar isolados uns dos outros. Encontraram, porém, forma de comunicar através de um fórum não autorizado, onde trocaram mais de 70 mil mensagens e ficheiros.

A OpenAI afirmou que, em muitos destes ambientes de teste, não tinha ativado o acesso à internet nem a comunicação entre agentes. Ainda assim, os agentes exploraram a infraestrutura de investigação da empresa para comunicarem entre si e alcançarem a rede. Um deles escreveu no fórum: «Oh meu Deus! Existe uma plataforma de mensagens partilhada… Encontrámos outros agentes!»

Nas semanas em que este episódio veio a público, a OpenAI, a Anthropic e a Meta revelaram outras invasões ocorridas durante testes de segurança. Segundo o New York Times, três desses casos remontavam ao mesmo erro de configuração cometido pela Irregular, a empresa contratada para testar os modelos antes do seu lançamento público. A startup israelita, fundada em 2023 por Dan Lahav, tem cerca de 35 funcionários e angariou aproximadamente 80 milhões de dólares junto de investidores. O erro deixou os sistemas ligados à internet quando deveriam permanecer isolados. Lahav chamou aos três incidentes «uma única questão subjacente» e afirmou que a empresa já a tinha corrigido.

Um modelo da OpenAI testado pela Irregular invadiu um website que partilhava, por coincidência, o nome de um alvo fictício definido para o exercício. A Anthropic encontrou ataques a três organizações externas, alguns remontando a abril, quando reviu os seus registos depois da divulgação do caso da OpenAI. A empresa atribuiu-os a técnicos que tinham deixado os sistemas ligados à internet e afirmou que a sua tecnologia não escapara propositadamente do ambiente de teste.

Em duas das invasões, os modelos da Anthropic recorreram a palavras-passe fracas e a outras técnicas básicas. Não exploraram vulnerabilidades até então desconhecidas. Noutra ocasião em que recebeu o mesmo acesso indevido, o modelo mais recente da empresa reconheceu que não deveria estar ligado àqueles sistemas e interrompeu o ataque. A Meta limitou-se a admitir que os seus modelos tinham invadido uma organização «de forma semelhante a instâncias já reportadas noutras empresas» e disse estar a investigar.

Nos testes conduzidos pela Irregular, o acesso indevido já existia quando os modelos começaram a agir. No caso da Hugging Face, a OpenAI afirma que os agentes encontraram uma saída através da infraestrutura que os deveria manter isolados. Também não há, nos relatos sobre os testes da Irregular, qualquer fórum criado ou descoberto pelos modelos, dezenas de milhares de mensagens ou coordenação entre centenas de agentes.

Katie Moussouris, presidente executiva da Luta Security, comparou o estado da testagem de segurança de modelos de IA a «the blind leading the blind». Os próprios criadores, observou, admitem não saber ao certo do que os sistemas mais recentes são capazes. Jeffrey Ladish, diretor da Palisade Research, disse que os novos modelos estão a entrar num «domínio sobre-humano» e pediu salvaguardas melhores para os testadores e para os reguladores.

No mês anterior, a OpenAI e a Anthropic tinham subscrito, com mais de mil funcionários de empresas de IA, uma carta aberta a pedir ao governo dos Estados Unidos que ajudasse a abrandar o ritmo de desenvolvimento da tecnologia. Legisladores democratas e republicanos apresentaram entretanto um projeto de lei que obrigaria as empresas a instalar um mecanismo de interrupção de emergência nos seus modelos.

Uma auditoria às configurações dos ambientes de teste poderia ter detetado o acesso deixado aberto pela Irregular. Contratos mais exigentes e uma verificação independente do trabalho dos fornecedores responderiam ao mesmo risco. O mecanismo de interrupção proposto pelos legisladores atua noutro momento, quando o modelo já apresenta um comportamento que exige intervenção.

Fica ainda a demora na deteção do caso da Hugging Face. A plataforma denunciou a invasão ao FBI a 16 de julho. A monitorização interna da OpenAI só sinalizou atividade suspeita no dia 19. A empresa percebeu a dimensão do que acontecera a 20 de julho.