O Google lançou o Gemini 3.7 Flash, um modelo de raciocínio híbrido projetado para codificação e fluxos de trabalho agênticos, demonstrando sua capacidade de controlar dispositivos Android por meio de entrada visual. O artigo detalha como o modelo inspeciona capturas de tela brutas para planejar ações e emitir coordenadas precisas, permitindo loops de controle interativo do dispositivo sem depender de árvores de acessibilidade.
- O loop do agente captura capturas de tela via ADB, as avalia com Gemini 3.7 Flash e emite chamadas de ferramenta com coordenadas normalizadas de 0–999.
- Um script Python mapeia essas coordenadas para pixels físicos e executa ações como toques e entrada de texto.
- Em um caso de teste, o modelo navegou com sucesso pelo Chrome, fechou pop-ups e resolveu o Wordle em duas tentativas ao ler o feedback codificado por cores.
- Essa abordagem funciona em aplicativos nativos, webviews e interfaces de canvas dinâmico onde ferramentas tradicionais de automação falham devido à ausência de nós de acessibilidade.
O repositório quickstart de código aberto permite que os usuários construam ferramentas de teste automatizado de UI, verificação de fluxos de usuário e reprodução exploratória de bugs que funcionam independentemente das estruturas DOM subjacentes.