A Anthropic, empresa americana de inteligência artificial, lançou um novo sistema para monitorar e classificar conversas de usuários com modelos de IA sobre armas nucleares.
O classificador, testado no modelo Claude, alcançou 96% de precisão em testes preliminares, distinguindo entre perguntas inofensivas, como explicações sobre fissão para fins civis, e solicitações perigosas, como instruções para construir um gatilho de fissão.
IA contra armas nucleares
Segundo a empresa, a tecnologia nuclear é “de dupla utilização”: princípios físicos úteis para energia podem ser mal utilizados para armas.
Com o avanço da IA, a Anthropic ressalta a necessidade de monitorar interações de usuários para evitar que conhecimento técnico sensível ameace a segurança nacional.
Em parceria com a Administração Nacional de Segurança Nuclear (NNSA), a Anthropic desenvolveu o classificador como parte de um protocolo mais amplo para identificar riscos de uso indevido de seus modelos.
Testes iniciais mostraram bom desempenho mesmo em conversas reais de usuários do Claude.
Leia mais:
ChatGPT vs Claude.AI: qual IA é melhor?
Claude.AI: como usar inteligência artificial
Quais são as principais empresas de Inteligência Artificial do mundo
O modelo Claude será disponibilizado a todos os órgãos do governo federal por uma taxa simbólica de um dólar, seguindo iniciativa semelhante da OpenAI, oferecendo duas versões do sistema para reforçar monitoramento e prevenção.
A iniciativa evidencia o crescente foco em segurança da IA e o desafio de equilibrar inovação tecnológica com proteção contra riscos nucleares, buscando soluções éticas, eficazes e escaláveis.
Anthropic amplia medidas de segurança
Junto da medida contra armas nucleares, a startup anunciou recentemente outras providências que devem garantir mais segurança no uso do Claude.
O chatbot ganhou a capacidade de encerrar conversas consideradas “persistentemente prejudiciais ou abusivas”. Além disso, algumas regras ficaram mais rígidas, com proibição explícita para desenvolvimento de armas de destruição em massa e restrições contra ciberataques.
O post Anthropic lança IA para monitorar conversas sobre armas nucleares apareceu primeiro em Olhar Digital.
