media r/LocalLLaMA · hace 1 h · open_models

DeepSeek V4 Flash 0731 alcanza el 82.7% en Terminal-Bench 2.1 con un arnés público

Traducido del English → Español

Una evaluación independiente utilizando el arnés Ante 0.preview.71 confirma que DeepSeek V4 Flash 0731 logra una puntuación de precisión del 82.7% en Terminal-Bench 2.1, igualando los resultados previamente reportados por DeepSeek.

La ejecución consistió en 445 ensayos a través de 89 tareas con 5 ensayos por tarea y esfuerzo máximo de razonamiento.
El modelo logró 368 ensayos exitosos de 445, lo que da una precisión del 82.7% (±1.79 SE).
La evaluación utilizó el modelo `deepseek/deepseek-v4-flash-0731` a través de OpenRouter sin habilidades habilitadas.

Toda la configuración y los registros de ensayos están públicamente disponibles en un trabajo de Harbor para verificación.

Los resultados demuestran que el rendimiento de DeepSeek V4 Flash 0731 es sensible al arnés de evaluación, proporcionando datos útiles para la comparación.

Importancia 2/3 Nuevo entorno de evaluación con diferenciadores r/LocalLLaMA DeepSeek Evaluation & benchmarks

Benchmarks

Benchmark	Modelo	Puntuación
Terminal-Bench 2	DeepSeek V4 Flash 0731	82.7%

Leer original

La calibración reduce el acoplamiento de preferencias del evaluador en bucles de retroalimentación de agentes LLM

Un estudio investiga si la calibración probabilística de los juicios del evaluador puede mitigar el "acoplamiento de preferencias del evaluador", donde sesgos sistemáticos se propagan a la estrategia de un agente LLM. Los autores presentan el primer análisis de este enfoque de mitigación, aplicando calibración a juicios por pares para reducir la propagación espuria de preferencias.

arxiv arXiv cs.CL · hace 36 d

El benchmark SPLIT evalúa la empatía interlingüística y el arraigo cultural en respuestas de LLM en inglés y ucraniano

Se presenta el benchmark SPLIT para evaluar la consistencia de los grandes modelos de lenguaje al generar respuestas emocionalmente fundamentadas en cinco categorías relacionadas con crisis: Estrés, Pánico, Soledad, Desplazamiento Interno y Tensión. El marco evalúa tres LLM técnicamente diversos en precisión empática, naturalidad lingüística y arraigo contextual & cultural tanto en inglés como en ucraniano.

media r/LocalLLaMA · hace 37 d · 2 vistas

Seguimiento: DeepSeek V4 Flash en 2x RTX PRO 6000 finaliza tareas de codificación reales más rápido que Sonnet y Opus, con calidad aproximada a la de Sonnet

Una evaluación de seguimiento compara el rendimiento de DeepSeek V4 Flash ejecutándose en dos GPUs RTX PRO 6000 usando vLLM, contrastándolo con modelos basados en API como Claude Sonnet y Opus en tareas de codificación del mundo real. El estudio encuentra que, aunque Opus y Fable mantienen una calidad de código superior, DeepSeek V4 Flash alcanza una calidad aproximadamente al nivel de Sonnet con tiempos de pared significativamente más rápidos.

arxiv arXiv cs.CL · hace 40 d

Sabores casi-humanos: el omnivorismo estilizado de los sustitutos de encuestas de LLM

Este estudio evalúa la capacidad de los modelos de lenguaje grandes para aproximar los gustos culturales humanos generando sustitutos de silicio a partir de la Encuesta de Participación Pública en las Artes. Utilizando modelos de OpenAI, Anthropic y DeepSeek, los autores analizan 277.470 encuestados sintéticos para determinar si los LLM pueden replicar fielmente los datos de encuestas del mundo real.

arxiv arXiv cs.CL · hace 40 d · 2 vistas

¿Los OCR-VLMs leen Devanagari? Estudio de benchmark y post-corrección

Un estudio realiza un benchmark de diez sistemas OCR en texto Devanagari, revelando que los modelos de lenguaje-visión OCR especializados son frágiles bajo degradación y que un alto rendimiento en inglés no predice la precisión en scripts indios.