Apesar de todo o potencial da inteligência artificial, o desenvolvimento dessas ferramentas é acompanhado por diversas preocupações. A maior delas, sem dúvidas, é a possibilidade que a tecnologia construa e lance armas nucleares.
Em meio a este temor, a Anthropic, criadora do chatbot Claude, anunciou uma parceria inédita com o governo dos Estados Unidos. O objetivo é criar um filtro avançado capaz de detectar e bloquear conversas relacionadas a riscos nucleares.
Filtro será disponibilizado para outras empresas de IA
De acordo com informações do portal Wired, cientistas da Administração Nacional de Segurança Nuclear dos Estados Unidos (NNSA) realizaram diversos testes para identificar se o Claude poderia, mesmo que indiretamente, ajudar alguém a projetar uma arma nuclear.
Esse trabalho possibilitou a criação de um “classificador nuclear”, uma espécie de filtro inteligente capaz de reconhecer tópicos, termos e detalhes técnicos associados a riscos nucleares. Nestes casos, a IA seria simplesmente “desativada”, embora não tenham sido divulgados mais detalhes de como isso aconteceria.
A Anthropic destaca que o sistema consegue diferenciar discussões sobre energia nuclear ou medicina nuclear de tentativas de uso indevido da tecnologia. E que pretende disponibilizar o filtro para outras desenvolvedoras de IA.
Nós o construímos usando uma lista desenvolvida pela NNSA de indicadores de risco nuclear, tópicos específicos e detalhes técnicos que nos ajudam a identificar quando uma conversa pode estar se desviando para um território prejudicial. A lista em si é controlada, mas não confidencial, o que é crucial, porque significa que nossa equipe técnica e outras empresas podem implementá-la.
Marina Favaro, diretora de Políticas de Segurança Nacional da Anthropic
Leia mais
IBM e Anthropic anunciam parceria focada em IA corporativa
Misturar IA e armas nucleares não é uma boa ideia
Anthropic lança IA para monitorar conversas sobre armas nucleares
Preocupações persistem
O anúncio da Anthropic, no entanto, não agradou a todos.
Especialistas ouvidos na publicação revelaram preocupações com a efetividade do filtro.
Para Heidy Khlaaf, cientista-chefe de IA do AI Now Institute, empresas privadas simplesmente não deveriam ter acesso a algumas informações confidenciais.
Ela ressalta que, se o Claude nunca tiver acesso a dados confidenciais sobre armas nucleares, o sistema se tornaria desnecessário.
O post O plano da Anthropic para impedir que sua IA construa uma arma nuclear apareceu primeiro em Olhar Digital.
