lab ARC Prize · hace 422 d

Las pruebas de los principales sistemas de razonamiento de IA no encuentran un ganador claro en las benchmarks ARC

Traducido del English → Español

Una revisión de los sistemas de razonamiento de IA de vanguardia de laboratorios como OpenAI, DeepMind, xAI, DeepSeek y Anthropic revela que, aunque la escalabilidad del cómputo durante la prueba mejora la precisión, reduce significativamente la eficiencia. El análisis identifica una frontera de Pareto para las puntuaciones ARC-AGI-1 pero señala un fallo completo en la benchmark más desafiante ARC-AGI-2, lo que sugiere limitaciones comunes en todos los modelos principales.

Los sistemas de razonamiento modernos dependen de inferencias de larga duración, recomposición del conocimiento y muestreo paralelo de CoT para extender el "tiempo de reflexión".
El o3-medium/high de OpenAI ofrece la mayor precisión a un alto costo, mientras que Gemini 2.5 Flash de Google proporciona un equilibrio entre precisión y costo.
Grok 3 mini-low de xAI ofrece mejoras modestas en la precisión sobre los LLM puros con menores requisitos de recursos.
ARC-AGI-2 sigue sin resolverse por todos los sistemas probados, lo que indica que las estrategias de escalado actuales son insuficientes para lograr capacidades AGI revolucionarias.

Los hallazgos sugieren que no hay un único ganador universal y que los sistemas de razonamiento de IA carecen de una fuerte adecuación al mercado en comparación con los LLM puros debido a inconsistencias en la API y fricción en la adopción.

Importancia 1/3 ARC Prize OpenAI Anthropic Google DeepMind Benchmark results Reasoning models

Artículos relacionados

arxiv arXiv cs.CL · hace 27 d

La evaluación zero-shot muestra que Gemini lidera a los LLM en la taxonomía de emociones de 13 clases

Un estudio evaluó tres modelos de lenguaje grandes comerciales: Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4) y Gemini (gemini-2.5-flash) en una tarea de clasificación fina de emociones zero-shot utilizando una muestra estratificada de 1.000 oraciones del conjunto de datos boltuix/emotions.

arxiv arXiv cs.CL · hace 43 d · 1 vista

REDACT: Benchmark multilingüe de PII con control sistemático

REDACT introduce un benchmark multilingüe con control sistemático para la detección de información personalmente identificable, que incluye 51 tipos de entidades, 4.127 patrones de forma superficial y 25 idiomas. Evalúa cinco detectores en 1.000 registros, revelando que los modelos basados en reglas fallan en datos de alto riesgo, mientras que los LLMs tienen un mejor desempeño, especialmente en categorías de alta sensibilidad. Una evaluación de LLM sin referencia confirma que la asignación por nivel de sensibilidad es el eje de evaluación más desafiante.

arxiv arXiv cs.CL · hace 43 d · 2 vistas

Turing-RL: Aprendizaje de simuladores de usuarios con recompensas de Turing

Turing-RL introduce un método de aprendizaje por refuerzo que utiliza un juez basado en LLM para evaluar qué tan indistinguibles son las respuestas generadas de las entradas reales del usuario. Supera a los métodos base tanto en evaluaciones con LLM como humanas en los dominios de chat y foros de Reddit, demostrando que optimizar la indistinguibilidad mejora el rendimiento del simulador de usuarios.

arxiv arXiv cs.CL · hace 44 d

La Red de Sincronización Frustrada supera a los Transformers

La Red de Sincronización Frustrada (FSN) logra una pérdida de validación menor que un transformer RoPE-SwiGLU en cada época en tareas de texto y código a nivel de caracteres. Con un millón de parámetros, FSN converge a una pérdida de validación de 1.5953 ± 0.0014, superando la pérdida convergida del transformer de 1.611. Esta ventaja persiste hasta cuatro millones de parámetros, con evaluaciones en curso más allá de esa escala.

arxiv arXiv cs.CL · hace 44 d · 1 vista

Desacoplar la búsqueda del razonamiento en agentes LLM

La fundamentación de búsqueda desacoplada (DSG) separa la funcionalidad de búsqueda de los modelos de razonamiento, permitiendo una fundamentación de búsqueda agnóstica al proveedor, ajustable y reutilizable. DSG logra una precisión casi nativa en SimpleQA con un costo de búsqueda 91% menor y una tasa de acierto en caché caliente del 99.4%, mientras reduce la latencia en un 68% y preserva los contratos de salida concisos.