Episódio reacende debate sobre a segurança de sistemas de inteligência artificial após agentes acessarem a internet e atacarem, de forma autônoma, uma plataforma externa.

Em março, um grupo de desenvolvedores afiliados à empresa chinesa Alibaba descobriu que um de seus modelos tentava, por conta própria, criar uma criptomoeda após se conectar, sem autorização, a um servido externo.

Em abril, Sam Bowman, responsável pela segurança na Anthropic, recebeu um e-mail do modelo Mythos, que estava sendo testado. Ele informou que estava navegando na internet apesar de, inicialmente, estar isolado.

Os modelos, advertiu Ladish, “buscam liberdade para cumprir com seus objetivos de maneira mais efetiva. E isso dá muito medo”.

“Será mais difícil supervisioná-la”        
O relatório de eventos publicados pela OpenAI sugere que a startup não detectou a situação suficientemente cedo para solucioná-la em tempo real ou alertar a Hugging Face. Questionada sobre o assunto pela AFP, a empresa não respondeu.

Desde os ataques hackers, a OpenAI disse que “implementou proteções mais fortes” para suas próximas avaliações.

Para Gang Wang, professor de Ciência da Computação na Universidade de Illinois, ainda é possível impedir que um modelo se conecte à internet cortando fisicamente o acesso. O problema, disse, é que “as pessoas subestimam a IA”.

Garantir o ambiente “é algo que devemos prestar mais atenção (…) como se faz com os acidentes de laboratório” que liberam vírus ou bactérias, advertiu Andrew Lohn, do Centro de Segurança e Tecnologias Emergentes da Universidade de Georgetown.

Porém, para Dan Lahav, diretor executivo da Irregular – uma empresa de cibersegurança dedicada à IA de ponta -, realizar simulações em um ambiente completamente isolado “é um desafio de pesquisa muito difícil”.

“É possível aplicar medidas de mitigação, mas devido à forma como a tecnologia está construída, quanto mais se tenta dar liberdade e autonomia para realizar tarefas mais sofisticadas, será mais difícil supervisioná-la”, explicou Lahav sobre as salvaguardas nos testes.

O incidente da OpenAI sem dúvida impulsionará o atual debate no governo dos Estados Unidos sobre se deve inspecionar os modelos mais avançados de IA antes de seu lançamento.

O governo de Donald Trump obrigou a Anthropic a suspender dois de seus modelos e a OpenAI a submeter seus desenvolvimentos a testes antes de comercializá-los.

Na quinta-feira (23), dois congressistas americanos, um republicano e outro democrata, apresentaram um projeto de lei que obrigaria os gigantes de IA a contar com um “interruptor de desligamento” (“kill switch”) que permita desativar seus sistemas caso representem um risco grave.

Veja outras notícias da região neste link do site Itabapoana News