media r/LocalLLaMA · há 1 h · open_models

DeepSeek V4 Flash 0731 atinge 82,7% no Terminal-Bench 2.1 em ambiente público

Traduzido do English → Português (BR)

Uma avaliação independente usando o framework Ante 0.preview.71 confirma que o DeepSeek V4 Flash 0731 alcança uma pontuação de precisão de 82,7% no Terminal-Bench 2.1, igualando os resultados anteriormente relatados pela DeepSeek.

A execução consistiu em 445 ensaios através de 89 tarefas com 5 ensaios por tarefa e esforço máximo de raciocínio.
O modelo conseguiu 368 ensaios bem-sucedidos de 445, resultando em uma precisão de 82,7% (±1,79 SE).
A avaliação utilizou o modelo `deepseek/deepseek-v4-flash-0731` via OpenRouter sem habilidades habilitadas.

Todas as configurações e registros de ensaios estão publicamente disponíveis em um trabalho do Harbor para verificação.

Os resultados demonstram que o desempenho do DeepSeek V4 Flash 0731 é sensível ao framework de avaliação, fornecendo dados úteis para benchmarking.

Importância 2/3 Novo ambiente de avaliação com diferenciais r/LocalLLaMA DeepSeek Evaluation & benchmarks

Benchmarks

Benchmark	Modelo	Pontuação
Terminal-Bench 2	DeepSeek V4 Flash 0731	82.7%

Ler original

A calibração reduz o acoplamento de preferências do avaliador em loops de feedback de agentes LLM

Um estudo investiga se a calibração probabilística dos julgamentos do avaliador pode mitigar o "acoplamento de preferências do avaliador", onde vieses sistemáticos se propagam para a estratégia de um agente LLM. Os autores apresentam a primeira análise dessa abordagem de mitigação, aplicando calibração a julgamentos pareados para reduzir a propagação espúria de preferências.

arxiv arXiv cs.CL · há 36 d

Benchmark SPLIT avalia empatia interlingual e fundamentação cultural em respostas de LLM em inglês e ucraniano

O benchmark SPLIT é introduzido para avaliar a consistência dos grandes modelos de linguagem ao gerar respostas emocionalmente fundamentadas em cinco categorias relacionadas a crises: Estresse, Pânico, Solidão, Deslocamento Interno e Tensão. O framework avalia três LLMs tecnicamente diversos em precisão empática, naturalidade linguística e fundamentação contextual & cultural tanto em inglês quanto em ucraniano.

media r/LocalLLaMA · há 37 d · 2 visualizações

Acompanhamento: DeepSeek V4 Flash em 2x RTX PRO 6000 finaliza tarefas reais de codificação mais rápido que Sonnet e Opus, com qualidade aproximada à do Sonnet

Uma avaliação de benchmarking subsequente avalia o DeepSeek V4 Flash rodando em duas GPUs RTX PRO 6000 usando vLLM, comparando seu desempenho em tarefas reais de codificação contra modelos baseados em API como Claude Sonnet e Opus. O estudo descobre que, embora Opus e Fable mantenham qualidade superior de código, o DeepSeek V4 Flash atinge uma qualidade aproximadamente ao nível do Sonnet com tempos de parede significativamente mais rápidos.

media r/LocalLLaMA · há 2 d · 1 visualização

Resultados do DeepSeek V4 Flash 0731 no ARC-AGI

O artigo apresenta os resultados do benchmark ARC-AGI para o modelo DeepSeek V4 Flash 0731. Ele vincula à página oficial de resultados hospedada pela organização ARC Prize.

lab Hugging Face Blog · há 2 d · 3 visualizações

TutorMoments avalia se tutores de IA sabem quando ajudar ou recuar

Pesquisadores apresentam o TutorMoments, uma estrutura projetada para medir se grandes modelos de linguagem podem equilibrar a troca pedagógica entre fornecer suporte e incentivar o raciocínio independente. Construído com base em transcrições reais de tutoria matemática individual, o sistema reproduz pontos de decisão para avaliar o comportamento do modelo contra um ground truth anotado por humanos.