arxiv Moonshot AI (arXiv) · há 1034 d

SWE-bench apresenta framework para avaliar LMs em issues reais do GitHub

Traduzido do English → Português (BR)

O artigo apresenta o SWE-bench, um framework de avaliação projetado para testar as capacidades de modelos de linguagem em tarefas de engenharia de software do mundo real. Consiste em 2.294 problemas extraídos de issues e pull requests reais em 12 repositórios Python populares.

O benchmark exige que os modelos editem bases de código para resolver problemas específicos, muitas vezes envolvendo coordenação entre múltiplas funções, classes e arquivos.
Os modelos devem interagir com ambientes de execução, processar contextos extremamente longos e realizar raciocínio complexo além da geração de código tradicional.
As avaliações mostram que mesmo os modelos proprietários mais avançados têm dificuldades significativas; o modelo de melhor desempenho, Claude 2, resolveu apenas 1,96% dos problemas.
O modelo ajustado SWE-Llama também resolveu apenas os problemas mais simples dentro do conjunto de dados.

Os avanços no SWE-bench são considerados passos para tornar os modelos de linguagem mais práticos, inteligentes e autônomos em cenários do mundo real.

Importância 1/3 Novo ambiente de avaliação com diferenciais Moonshot AI (arXiv) Code generation Evaluation & benchmarks

Benchmarks

Benchmark	Modelo	Pontuação
SWE-bench	Claude 2	1.96%

Artigos relacionados

media Hugging Face Forums · há 21 d · 1 visualização

Testes de plugins de agentes de codificação mostram que economia de tokens não equivale a redução de custos

Uma análise de tarefas de agentes de codificação usando GPT-5.6-sol e Codex CLI 0.144.1 demonstra que reduzir os tokens de contexto em 90% não resulta em economias proporcionais de custo para a tarefa completa.

lab OpenAI News · há 32 d · 6 visualizações

Auditoria da OpenAI encontra ~30% das tarefas do SWE-Bench Pro quebradas

A OpenAI realizou uma auditoria detalhada do benchmark de programação SWE-Bench Pro e estimou que aproximadamente 30% de suas tarefas estão quebradas devido a falhas de design. A investigação foi motivada por preocupações de que erros de avaliação poderiam distorcer as capacidades dos modelos e os casos de segurança, levando a OpenAI a retirar sua recomendação anterior de adotar este benchmark.

arxiv arXiv cs.CL · há 33 d

GameEngineBench avalia agentes de codificação em tarefas C++ do Unreal Engine 5

Os autores apresentam o GameEngineBench, um benchmark projetado para avaliar agentes de codificação em tarefas de implementação de C++ escopadas dentro de projetos do Unreal Engine 5. Construído a partir de nove repositórios de jogos do mundo real, o conjunto de avaliação consiste em 110 tarefas cobrindo mecânicas de jogo, comportamento multiplayer, IA, animação, UI e plugins de renderização.

media r/LocalLLaMA · há 37 d · 2 visualizações

Acompanhamento: DeepSeek V4 Flash em 2x RTX PRO 6000 finaliza tarefas reais de codificação mais rápido que Sonnet e Opus, com qualidade aproximada à do Sonnet

Uma avaliação de benchmarking subsequente avalia o DeepSeek V4 Flash rodando em duas GPUs RTX PRO 6000 usando vLLM, comparando seu desempenho em tarefas reais de codificação contra modelos baseados em API como Claude Sonnet e Opus. O estudo descobre que, embora Opus e Fable mantenham qualidade superior de código, o DeepSeek V4 Flash atinge uma qualidade aproximadamente ao nível do Sonnet com tempos de parede significativamente mais rápidos.

arxiv arXiv cs.CL · há 37 d

TestEvo-Bench: Um Benchmark Executável e ao Vivo para a Co-Evolução de Testes e Código

Os autores apresentam o TestEvo-Bench, um benchmark ao vivo projetado para avaliar quão bem os agentes de automação de testes lidam com a co-evolução do código e dos testes. Ele aborda limitações em benchmarks existentes ao fornecer tarefas executáveis ancoradas em históricos reais de commits com configurações de ambiente.