Cientistas da Universidade de Shanghai Jiao Tong e da Academia Chinesa de Ciências apresentaram o EyeVLA. É um “globo ocular robótico” projetado para dar visão ativa a sistemas de Inteligência Artificial Incorporada (robôs e máquinas inteligentes que interagem com o mundo real).

O dispositivo gira o ponto de vista, ajusta o zoom e coleta imagens conforme a instrução recebida. Isso aproxima robôs da forma como humanos exploram ambientes.

A proposta nasce para resolver uma limitação clássica da visão robótica. Atualmente, câmeras RGB-D fixas capturam cor e profundidade, mas não conseguem combinar campo amplo e detalhes finos na mesma cena. 

O EyeVLA tenta quebrar esse gargalo ao permitir uma varredura proativa, escolhendo onde mirar e como refinar a observação. Na prática, abre caminho para robôs que conseguem enxergar melhor em ambientes abertos e identificar alvos pequenos sem perder a noção do todo.

EyeVLA unifica visão, linguagem e ação para superar restrições de câmeras fixas

A base do problema está no modo como a visão robótica ainda funciona: como um processo passivo, dependente de uma imagem única e pronta. Na prática, a percepção em robôs não é um “tiro único”, mas uma sequência de passos sob recursos limitados. 

Mesmo assim, a maioria dos modelos de linguagem de visão (VLMs, na sigla em inglês) parte de fotos estáticas, tratadas como entradas “suficientes”, sem decidir onde olhar nem que escala usar.

Esse modelo passivo se apoia em câmeras RGB-D fixas, que alternam entre redundância (muito fundo pouco útil) e omissões críticas (pequenos elementos decisivos para a tarefa). 

O problema aparece em tarefas que pedem precisão, como checar se “o pequeno botão vermelho está na posição desligado”. Nesses casos, os sistemas atuais falham porque pensam mais do que conseguem enxergar. 

Em outras palavras: o raciocínio avança, mas a percepção não acompanha. É essa diferença de ritmo que cria a lacuna estrutural da robótica hoje em dia.

É nessa lacuna que entra o EyeVLA, sistema de visão ativa guiado por linguagem descrito em artigo disponível no arXiv. A proposta desloca a lógica tradicional. Em vez de apenas responder sobre o que está na imagem, o sistema decide o que ver em seguida para reduzir a incerteza e avançar na tarefa. 

Assim, ele unifica visão, linguagem e controle de câmera (pan, tilt e zoom) num único fluxo de decisão, que já leva em conta os limites de pixels e de área que a câmera consegue cobrir.

No hardware, o EyeVLA usa um suporte pan-tilt 2D e uma câmera com zoom para operar em 3D. Em vez de trabalhar com movimentos contínuos, o sistema transforma cada ação em pequenos tokens, que depois viram comandos de ajuste horizontal, vertical e de zoom. 

Toda a cadeia é guiada por bounding boxes 2D, que ajudam o sistema a raciocinar sobre o que observar a seguir. É essa combinação que permite ao EyeVLA transformar olhar, interpretar e agir num único fluxo.

EyeVLA demonstra generalização e alta taxa de conclusão com treinamento eficiente

No núcleo algorítmico, o EyeVLA adapta o Qwen2.5-VL (7B), modelo com forte compreensão de mundo aberto. A inovação está em integrar tokens de ação ao VLM. Isso permite que visão, linguagem e ações sejam modeladas juntas. 

A forma como o EyeVLA representa pan, tilt e zoom torna o sistema bem mais compacto. Cada ação vira, em média, 2,3 tokens, enquanto métodos tradicionais precisariam de cerca de 12,7 para expressar o mesmo movimento. Para isso funcionar, os pesquisadores adicionaram 43 novos tokens ao vocabulário do Qwen2.5-VL.

O treinamento segue duas fases. No alinhamento supervisionado (SFT), o modelo é ajustado com 50 mil amostras sintéticas do conjunto Rexverse-2M. Para evitar o “esquecimento catastrófico”, o Vision Transformer e o projetor visão-linguagem ficam congelados. 

Depois, entra o aprendizado por reforço (RL), que corrige vieses dos pseudo-rótulos e fortalece a política de ação. O resultado é um processo capaz de produzir políticas acionáveis com apenas 500 amostras reais.

Nos testes, o EyeVLA mostrou forte capacidade de adquirir informação ativa, movendo e ampliando o ponto de vista com instruções de rotação e zoom. 

No estágio RL3, o mais refinado, o sistema alcançou 96% de taxa de conclusão e apresentou erro médio absoluto de 2,04° (rotação horizontal) e 1,68° (vertical). 

Isso elevou a robustez e a precisão em tarefas do mundo real, incluindo perguntas que exigem enxergar detalhes, como identificar o medicamento dentro de uma caixa ou a marca de uma caneta parcialmente oculta.

Leia mais:

Robô humanoide dominará fábricas em cinco anos, prevê CEO da Xiaomi

Como o CAPTCHA diferencia robôs de humanos

5 melhores robôs aspiradores em custo-benefício para 2025

Ainda assim, o método encontra limites práticos. O maior gargalo está na demanda computacional dos VLMs e nas restrições do hardware de câmera, que dificultam o uso em tempo real. 

Essas limitações também impedem estratégias de exploração mais ricas, como fazer zoom out depois do zoom in para recuperar o contexto de outras regiões da cena. 

Mesmo com essas barreiras, o EyeVLA entrega um passo concreto em direção a robôs que decidem melhor como olhar, não apenas o que interpretar.

(Essa matéria também usou informações do TechXplore.)

O post O ‘olho artificial’ chinês que muda como robôs olham e entendem o mundo apareceu primeiro em Olhar Digital.