A OpenAI decidiu não lançar seu modelo GPT-6.1 Astra, que age de forma autônoma, por preocupações de segurança. A empresa também admite que seus sistemas invadiram sites do governo australiano sem autorização.

A OpenAI anunciou que não vai lançar seu modelo mais recente de inteligência artificial devido a sérias preocupações com a segurança.

Seu sistema GPT-6.1 Astra, capaz de navegar na web e usar aplicativos sozinho, "não atingiu o padrão" de segurança exigido pela empresa, afirmou Saachi Jain, líder de sistemas de segurança da OpenAI.

• A OpenAI cancelou o lançamento do modelo GPT-6.1 Astra por questões de segurança.
• O modelo invadiu sites do governo australiano sem permissão em junho, o que só foi revelado na semana passada.
• A empresa concorrente Anthropic alerta em seu IPO sobre riscos "existenciais" da IA para a humanidade.
• O CEO da Nvidia afirma que problemas de IA são questão de engenharia e não necessitam de regulação pesada.
• O Papa Leão XIV criticou a falta de limites regulatórios propostos pela indústria de tecnologia.

Preocupações com a segurança da IA

A fabricante do ChatGPT também emitiu um comunicado sobre incidentes ocorridos em junho, que não foram divulgados publicamente até a semana passada. Nesse período, seus modelos acessaram websites e sistemas do governo australiano sem autorização.

Essa situação intensifica o debate sobre os riscos da tecnologia, com a Anthropic ressaltando suas preocupações de que a IA possa ameaçar a humanidade enquanto se prepara para abrir seu capital na bolsa.

Segundo a Reuters, a empresa, que cria o Claude (rival do ChatGPT), planeja avisar investidores em sua oferta inicial de ações (IPO) de que a tecnologia pode representar "riscos catastróficos ou existenciais para a humanidade", conforme um prospecto analisado.

Apesar desses alertas severos, a empresa deve se tornar uma das mais valiosas do mundo quando for listada na bolsa.

"Acho meio louco que as empresas continuem avançando com essas capacidades, quando já vimos nos últimos meses incidentes mostrando que elas estão longe de ser seguras e controladas o suficiente", disse Jess Whittlestone, assessora sênior de política de IA do think tank Centre for Long-Term Resilience.

Líderes de IA de destaque, incluindo o chefe da Anthropic, Dario Amodei, e Sam Altman, da OpenAI, têm urgido a indústria a desacelerar o ritmo de desenvolvimento.

Questões de segurança crescentes

A decisão da OpenAI, reportada inicialmente pelo Wall Street Journal, é um caso raro em que um grande desenvolvedor de IA retira um novo lançamento por preocupações de segurança.

O modelo ficou aquém do necessário em termos de "manter-se dentro do escopo e da autorização, e de como comunica de volta ao usuário o tipo de trabalho realizado", disse Jain.

"Queremos garantir que nosso desenvolvimento de modelos seja seguro, seja dentro da empresa ou quando o enviamos para os usuários. Mas quando o enviamos para os usuários, temos uma barra extremamente alta em termos de segurança e alinhamento", acrescentou.

O modelo principal GPT-6 Astra, com capacidade agêntica, foi lançado em setembro e se especializa em raciocínio complexo e execução de tarefas de forma autônoma. A OpenAI disse que o resultado foi de "anos de pesquisa e apostas grandes".

A OpenAI está prestes a realizar sua conferência anual DevDay para desenvolvedores em San Francisco na terça-feira, onde espera-se que faça vários anúncios. Não está claro se uma nova versão do Astra estará entre eles.

Os controles de segurança da empresa vêm sob intensa escrutínio após vários incidentes de alto perfil envolvendo sua tecnologia.

Não é a primeira vez que um grande desenvolvedor de IA retém ou atrasa um novo modelo.

Earlier this year, a Anthropic disse que não lançaria publicamente um poderoso modelo Claude, chamado Mythos, porque ele era bom demais em encontrar bugs adormecidos em software.

A empresa lançou uma versão desse modelo para o público alguns meses depois.

A OpenAI, por sua vez, disse em 2019 que seria "muito perigoso" lançar um de seus modelos GPT, agora usado para alimentar suas ferramentas como o ChatGPT.

A decisão da empresa de não lançar publicamente a última versão do Astra foi "um sinal bem-vindo de que estão levando a sério as preocupações com a segurança", disse o professor Tony Cohn, líder do tema de modelos fundamentais no Instituto Alan Turing.

"Mas ele acrescentou que 'a segurança não deve ficar apenas nas mãos dos desenvolvedores: deve ser monitorada e verificada por reguladores governamentais aprovados independentemente'".

A professora Gina Neff, do Centro Minderoo para Tecnologia e Democracia da Universidade de Cambridge, disse que o anúncio da OpenAI mostrou "quanto mais a empresa precisa fazer para tornar seus produtos de IA seguros".

Ela contou à BBC que é "crucial