lab OpenAI · hace 726 d

OpenAI lanza SWE-bench Verified con un subconjunto validado por humanos

Traducido del English → Español

OpenAI ha lanzado SWE-bench Verified, un subconjunto validado por humanos del benchmark SWE-bench diseñado para evaluar de manera más fiable la capacidad de los modelos de IA para resolver problemas de software del mundo real. Esta nueva versión reemplaza los conjuntos de prueba originales de SWE-bench y SWE-bench Lite al abordar defectos que anteriormente llevaban a subestimar las capacidades de los modelos.

El lanzamiento incluye 500 muestras verificadas por desarrolladores profesionales para garantizar descripciones de problemas bien especificadas y pruebas unitarias con un alcance adecuado. También proporciona anotaciones para los 1.699 elementos de prueba muestreados, permitiendo dividir la dificultad en subconjuntos 'fácil' (196 tareas) y 'difícil' (45 tareas). Además, se lanza un nuevo entorno de evaluación que utiliza entornos Docker contenerizados para mejorar la fiabilidad de la configuración.

En SWE-bench Verified, GPT-4o resuelve el 33.2% de las muestras, mientras que el mejor andamio de código abierto, Agentless, duplica su puntuación anterior al alcanzar el 16%.

Importancia 1/3 Nuevo entorno de evaluación con diferenciadores OpenAI OpenAI Benchmark results Evaluation & benchmarks

Benchmarks

Benchmark	Modelo	Puntuación
SWE-bench Verified	GPT‑4o	33.2%
SWE-bench Verified	Agentless	32%

Artículos relacionados

arxiv arXiv cs.CL · hace 35 d

La evaluación zero-shot muestra que Gemini lidera a los LLM en la taxonomía de emociones de 13 clases

Un estudio evaluó tres modelos de lenguaje grandes comerciales: Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4) y Gemini (gemini-2.5-flash) en una tarea de clasificación fina de emociones zero-shot utilizando una muestra estratificada de 1.000 oraciones del conjunto de datos boltuix/emotions.

arxiv arXiv cs.CL · hace 51 d · 2 vistas

Evaluación de sistemas de revisión agénticos para investigación asistida por IA

Un estudio evalúa cuatro sistemas de revisión de IA en seis modelos de lenguaje, encontrando que OpenAIReview con GPT-5.5 alcanza una precisión del 83.0% al igualar la calidad del artículo con señales externas y detecta el 71.6% de los errores inyectados. La retroalimentación de usuarios reales muestra un sentimiento positivo, con una proporción de votos de 1.44 a 1, aunque los falsos positivos y las pequeñas observaciones siguen siendo comunes.

arxiv arXiv cs.CL · hace 51 d · 1 vista

REDACT: Benchmark multilingüe de PII con control sistemático

REDACT introduce un benchmark multilingüe con control sistemático para la detección de información personalmente identificable, que incluye 51 tipos de entidades, 4.127 patrones de forma superficial y 25 idiomas. Evalúa cinco detectores en 1.000 registros, revelando que los modelos basados en reglas fallan en datos de alto riesgo, mientras que los LLMs tienen un mejor desempeño, especialmente en categorías de alta sensibilidad. Una evaluación de LLM sin referencia confirma que la asignación por nivel de sensibilidad es el eje de evaluación más desafiante.

media r/LocalLLaMA · hace 51 d · 1 vista

GLM-5.2 supera a GPT-5.5 en la evaluación AA-Briefcase

La nueva evaluación de trabajo del conocimiento agéntico de Artificial Analysis, AA-Briefcase, muestra que GLM-5.2 supera a GPT-5.5 en rendimiento. El benchmark evalúa la ejecución de tareas del mundo real y las capacidades de razonamiento en escenarios de trabajo del conocimiento.

arxiv arXiv cs.AI · hace 52 d

Benchmark de múltiples dominios para detectar imágenes generadas por IA con mucho texto

Un nuevo benchmark evalúa imágenes generadas por IA con mucho texto en seis dominios, incluidos carteles comerciales y recibos. Revela un rendimiento significativamente dependiente del dominio y una sensibilidad a la compresión JPEG, destacando la necesidad de métodos de detección conscientes del texto y el diseño.