Um novo estudo publicado no Journal of Statistical Mechanics: Theory and Experiment revela como redes neurais — como as que alimentam sistemas como ChatGPT e Gemini — desenvolvem suas capacidades linguísticas à medida que são treinadas.
Os pesquisadores descobriram que, com poucos dados, esses sistemas inicialmente dependem da posição das palavras nas frases para interpretar o texto. No entanto, quando expostos a uma quantidade maior de dados, ocorre uma mudança abrupta: a rede passa a priorizar o significado das palavras.
Essa transição não é gradual, mas sim comparável a uma transição de fase física, como a passagem da água do estado líquido para o gasoso.
A analogia vem da física estatística, que estuda o comportamento coletivo de sistemas com muitos elementos — assim como as redes neurais, compostas por milhares de “nós” conectados.
Detalhes do estudo
O estudo foi conduzido com um modelo simplificado do mecanismo de autoatenção, peça central das arquiteturas transformadoras que compõem os modelos de linguagem modernos.
Esse mecanismo permite que a rede avalie a importância de cada palavra em relação às demais dentro de uma sequência.
“Nosso objetivo era entender quais estratégias emergem nas redes durante o aprendizado”, afirmou Hugo Cui, pós-doutorando em Harvard e autor principal do estudo.
Leia mais:
Menos é mais: chave para sucesso da IA pode ser simples; entenda
Finalmente! IA que gera imagens chega ao Photoshop
Meta vai usar a Bíblia para treinar IA
– Imagem: NicoElNino / Shutterstock
Descobertas podem levar a modelos de IA mais eficientes
A descoberta surpreendente foi que as redes adotam estratégias completamente distintas dependendo da quantidade de dados. Com poucos dados, confiam na estrutura das frases; com mais dados, passam a interpretar os significados.
Compreender esse tipo de transição pode ajudar pesquisadores a projetar modelos mais eficientes e seguros, oferecendo uma base teórica para entender como e quando uma rede neural muda seu modo de operar.
O post Por dentro do ‘cérebro’ de uma inteligência artificial apareceu primeiro em Olhar Digital.
