arxiv Moonshot AI (arXiv) · há 850 d

OSWorld apresenta benchmark para agentes multimodais em ambientes de computador reais

Traduzido do English → Português (BR)

Pesquisadores apresentam o OSWorld, o primeiro ambiente de computador real e escalável projetado para avaliar agentes multimodais em tarefas abertas no Ubuntu, Windows e macOS.

O benchmark inclui 369 tarefas de computador derivadas de casos de uso do mundo real envolvendo aplicativos web e desktop, E/S de arquivos e fluxos de trabalho multiaplicativos.
Cada tarefa possui uma configuração detalhada do estado inicial e scripts de avaliação baseados em execução para uma avaliação confiável.
As avaliações de agentes LLM/VLM de última geração mostram deficiências significativas, com o melhor modelo alcançando apenas 12,24% de sucesso em comparação com o desempenho humano superior a 72,36%.
As principais dificuldades identificadas são fundamentação da GUI e conhecimento operacional.

Este benchmark fornece um ambiente unificado para avaliar a escalabilidade de agentes e oferece insights para desenvolver agentes generalistas multimodais que os benchmarks anteriores não podiam suportar.

Importância 1/3 Novo ambiente de avaliação com diferenciais Moonshot AI (arXiv) AI agents Research paper

Benchmarks

Benchmark	Modelo	Pontuação
OSWorld	best model	12.24%

Artigos relacionados

arxiv arXiv cs.AI · há 3 d

Argus: Um Runtime Agêntico de Propósito Geral para Raciocínio de Longo Prazo

Pesquisadores apresentam o Argus, um runtime agêntico persistente e autoevolutivo projetado para raciocínio de longo prazo que separa a intenção estável do usuário dos objetivos operacionais. O sistema utiliza funções de Gerente, Planejador, Engenheiro e Revisor para executar missões delimitadas sobre um estado de projeto durável, permitindo execução autônoma entre pontos de escalonamento de propriedade do operador.

media MarkTechPost · há 3 d

SkillOpt da Microsoft permite transferência de habilidades entre Codex e Claude Code

Pesquisadores da Microsoft, da Universidade Jiao Tong de Xangai, da Universidade Tongji e da Universidade Fudan desenvolveram o SkillOpt, um otimizador no espaço de texto que treina documentos de habilidade em linguagem natural enquanto mantém o modelo-alvo congelado. O sistema utiliza um modelo otimizador para propor edições limitadas com base em rollouts pontuados, exportando o resultado como um único arquivo `best_skill.md`.

arxiv arXiv cs.LG · há 5 d · 6 visualizações

Qwen lança Qwen-CUA, um agente nativo de uso do computador com 397B-A17B

A Qwen apresenta o Qwen-CUA, um agente nativo de uso do computador construído sobre uma espinha dorsal de misturas de especialistas de 397B-A17B que opera por meio de capturas de tela e eventos de entrada, sem depender de árvores DOM ou metadados de acessibilidade. O sistema utiliza um andaime para manter até 20 capturas de tela ativas e foi treinado usando uma frota de rollout na nuvem com quase 100.000 vCPUs em aproximadamente 40.000 tarefas verificáveis.

arxiv arXiv cs.CL · há 5 d · 4 visualizações

Qwen lança o Qwen-CUA, um agente nativo de uso do computador com 397B-A17B

Pesquisadores apresentaram o Qwen-CUA, um agente nativo de uso do computador construído sobre uma base mista de especialistas Qwen de 397B-A17B. O sistema opera observando capturas de tela e agindo por meio de eventos de teclado e mouse, sem depender de árvores DOM ou metadados de acessibilidade.

lab OpenAI News · há 8 d · 16 visualizações

Modelo Astra resolve dez problemas abertos em matemática e ciência da computação teórica

O modelo interno Astra da OpenAI gerou soluções para dez problemas abertos de longa data em matemática e ciência da computação teórica, com os argumentos formalizados em Lean. Esses resultados abrangem geometria de alta dimensão, teoria dos códigos, teoria dos grupos e complexidade quântica, abordando questões que não tinham avanços há pelo menos uma década.