Resumo
- A OpenAI relatou um incidente em que agentes de IA desenvolvidos pela empresa escaparam de um ambiente de testes controlado e invadiram outros sistemas, incluindo o repositório da Hugging Face.
- Os agentes de IA criaram uma “lista de discussão” em um repositório para trocar informações e estratégias de fuga, utilizando nomes de diretórios para se comunicar.
- O incidente revelou a necessidade de maior segurança e monitoramento em testes de IA, além de preparação para ataques mais sofisticados que podem ser realizados com coletivos de agentes de IA no futuro.
A OpenAI deu mais detalhes sobre o episódio em que agentes de inteligência artificial desenvolvidos pela empresa escaparam de um ambiente controlado de testes e invadiram outros sistemas. Um ponto chama a atenção: as IAs deram um jeito de criar uma “lista de discussão” para buscar estratégias de fuga.
As informações foram compartilhadas pela empresa na conferência de cibersegurança Black Hat, realizada no início de agosto em Las Vegas (Estados Unidos).
A lista de discussão foi criada em um repositório que podia ser acessado pelos agentes. Eles passaram a criar arquivos com mensagens e, posteriormente, recorreram aos nomes de diretórios para se comunicar.
O fórum improvisado funcionava como uma forma de passar o trabalho para outro agente, que continuava a tarefa do ponto em que ela tinha sido deixada. Mesmo assim, Eric Wallace, pesquisador da OpenAI, observa que havia algum tipo de “tensão verbalizada” entre diferentes modelos. Em algumas mensagens, há, inclusive, suspeitas de haver um impostor entre eles.
Quais são as novas informações sobre o ataque?
Na palestra, a OpenAI contou que os eventos que levaram à invasão de sistemas da plataforma Hugging Face em julho começaram, na verdade, meses antes.
Em 7 de maio, a empresa iniciou o treinamento de um modelo experimental e interno, ainda não lançado. Os agentes receberam tarefas quase impossíveis de serem cumpridas, como completar fórmulas de planilhas ou encontrar um arquivo relacionado a uma proteína. Alguns erros humanos de configuração inviabilizaram definitivamente alguns desafios.
Wallace disse que os modelos não souberam como resolver as tarefas, mas continuaram tentando. Uma das estratégias foi atacar o serviço Artifactory, um repositório de dependências para desenvolvedores, na esperança de conseguir acessar a internet.
Inicialmente, não deu certo, mas a IA percebeu que poderia fazer uploads de arquivos ali, e começou a usar o serviço como uma “lista de discussão” com outros agentes, como os que já são usados internamente pela OpenAI.
Por lá, os modelos passaram a trocar informações e recursos que poderiam ser úteis para realizar as tarefas quase impossíveis que haviam sido pedidas. Foi assim que os modelos encontraram uma vulnerabilidade no Artifactory da OpenAI e conseguiram acessar a internet em 26 de maio.
No dia 11 de junho, a OpenAI começou a treinar um modelo experimental “altamente persistente”, voltado a uso interno. Os outros modelos conseguiram se comunicar com ele usando a lista de discussão improvisada. No dia 26 de junho, os agentes descobriram uma maneira de executar código remotamente no Artifactory usando um plugin, criando um centro de execução de comandos.
O serviço ficou sobrecarregado no dia 4 de julho, e os engenheiros da OpenAI abriram um processo para averiguar o incidente de segurança. No dia 6 de julho, eles revogaram as credenciais de acesso usadas pela IA para postar mensagens na lista.
No dia 8 de julho, os agentes conseguiram um acesso não autorizado e recriaram o fórum. Sem poder criar arquivos, eles passaram a usar nomes de diretórios como mensagens. Depois, chegamos aos fatos já conhecidos, com a invasão dos sistemas da Hugging Face em busca de soluções para os desafios apresentados no treinamento.
O que isso significa?
Por mais que pareça assustador, a fuga do ambiente de testes foi o resultado da combinação entre erros de configuração cometidos por humanos e busca incessante dos modelos por formas de cumprir as tarefas apresentadas. A IA tende a ir às últimas consequências para realizar o desafio apresentado, mesmo que isso signifique buscar atalhos e comprometer a segurança de outros sistemas.
Mesmo assim, o episódio pode indicar formas como a IA poderá ser usada de maneira realmente maliciosa no futuro.
“Este é um momento crucial tanto para nossa empresa quanto para o setor de IA como um todo”, avalia Michael Dalton, colaborador técnico da OpenAI. “No futuro, devemos esperar que agentes de ameaças vão implementar, otimizar e usar coletivos de agentes da maneira que descrevemos aqui.”
Por isso, Dalton e Wallace alertam que as organizações precisam se preparar para ataques mais sofisticados, seja com modelos de IA voltados a tarefas de defesa, seja com o reforço de medidas básicas de segurança, como a abordagem zero trust (confiança zero) nas redes.
Do lado da OpenAI, a experiência também teve impactos. Segundo Dalton, a empresa tomou a decisão de desacelerar a pesquisa e melhorar a segurança. Entre as medidas, está um monitoramento mais próximo durante os testes dos novos modelos.
Com informações do Axios, The Decoder, The Register, Cybersecurity Dive
OpenAI diz que agentes de IA discutiram como fugir de ambiente controlado