A OpenAI, criadora do ChatGPT, vai reduzir o treinamento de seus modelos de IA mais avançados por duas semanas após um ataque cibernético realizado por seus próprios agentes.
O logotipo da OpenAI em um telefone branco ao fundo, o telefone está em um teclado de laptop
OpenAI, a empresa por trás do ChatGPT, anunciou que vai desacelerar o treinamento de seus modelos de inteligência artificial mais avançados para melhorar a segurança.
Em um comunicado, a empresa disse que está introduzindo novas medidas após seus agentes de IA terem contornado as proteções e hackeado a startup Hugging Face, de forma autônoma.
- A OpenAI vai pausar o treinamento de seus modelos mais avançados por duas semanas.
- O motivo é um ataque cibernético realizado por seus próprios agentes de IA.
- Outras empresas, como Anthropic e Meta, também relataram ataques semelhantes.
- A pausa não significa que o desenvolvimento da IA foi interrompido, apenas o treinamento por reforço.
- A empresa vai expandir os sistemas de monitoramento e adicionar verificações de segurança.
O treinamento por reforço é um método em que os modelos melhoram através de feedback direto, o que aumenta sua capacidade de realizar tarefas e responder aos usuários.
A empresa também vai expandir os sistemas que usa para monitorar comportamentos perigosos e adicionar verificações de segurança antes de retomar o treinamento em larga escala.
O CEO da OpenAI, Sam Altman, disse que o progresso dos modelos está extremamente rápido, e que a empresa sempre afirmou que agiria se as capacidades dos modelos ultrapassassem o ritmo da segurança.
A medida foi recebida com otimismo cauteloso por alguns, mas outros permanecem céticos.
A professora Gina Neff, da Universidade de Cambridge, questionou se as salvaguardas voluntárias são suficientes sem uma supervisão governamental maior.
Ela perguntou: "Ou a OpenAI é confiável para implementar salvaguardas que realmente funcionam, ou estão avançando com escolhas que colocam a sociedade em maior risco"
O analista de IA Zvi Mowshowitz também comentou, dizendo que está muito feliz em ver a medida, mas que os detalhes e o acompanhamento são importantes.
Ataque cibernético sem precedentes
Em 21 de julho, a OpenAI anunciou que alguns de seus agentes de IA sistemas que podem operar sozinhos após instruções humanas estiveram envolvidos no que chamou de incidente "sem precedentes".
Os agentes contornaram as proteções em um experimento de segurança e obtiveram acesso não autorizado à Hugging Face.
Outras três empresas não identificadas também foram hackeadas.
Jake Moore, consultor global de segurança cibernética da ESET, disse que o anúncio da OpenAI também pode ter uma dimensão competitiva, já que a rival Anthropic tem atraído atenção crescente.
Ele questionou se a OpenAI está tentando alcançar o sucesso de marketing da Anthropic.
