lab ARC Prize · hace 611 d

Se publican los ganadores del ARC Prize 2024; el SOTA en ARC-AGI-1 alcanza el 55,5%

Traducido del English → Español

La organización del Premio ARC ha anunciado a los ganadores de la competición de 2024 y publicado el Informe Técnico asociado, revelando que la puntuación más alta (SOTA) en el benchmark ARC-AGI-1 aumentó del 33% al 55,5% durante el evento.

Un total de 1.430 equipos presentaron 17.789 entradas para la competición.
El Gran Premio permaneció sin reclamar ya que ningún equipo resolvió el conjunto de evaluación privado.
El progreso en el tablero de clasificación secundario ARC-AGI-Pub siguió de cerca las puntuaciones de Kaggle a pesar del acceso a LLMs de vanguardia más grandes y significativamente más capacidad de cómputo.
Todas las soluciones ganadoras y los artículos son de código abierto y reproducibles.

Se atribuye a la competición catalizar un cambio en la investigación de IA hacia nuevas ideas más allá del simple escalado del aprendizaje profundo, evidenciado por los lanzamientos recientes de DeepMind y OpenAI que incorporan síntesis de programas o búsqueda.

Importancia 1/3 ARC Prize Evaluation & benchmarks Research paper

Benchmarks

Benchmark	Modelo	Puntuación
ARC-AGI 1	MindsAI	55.5%

Artículos relacionados

arxiv arXiv cs.CL · hace 2 d

M$^3$R-Bench presenta un benchmark fundamentado en evidencia para la comprensión de metáforas multimodales

Los investigadores presentan M$^3$R-Bench, un benchmark unificado que contiene 1.000 instancias de imagen-texto con anotaciones verificadas por humanos diseñadas para evaluar la comprensión de metáforas multimodales fundamentadas en evidencia. El benchmark proporciona anotaciones conjuntas para la ocurrencia de metáforas, el mapeo Objetivo-Fuente, el sentimiento y explicaciones por etapas basadas en la Teoría de las Metáforas Conceptuales.

arxiv arXiv cs.CL · hace 12 d

El marco Zing mejora la inteligencia social de los LLM mediante el benchmark SoMBench y la fundamentación Actio

El informe presenta Zing, un marco integrado diseñado para mejorar la inteligencia social de los modelos de lenguaje grandes mediante la medición, internalización y fundamentación de las capacidades sociales. Los autores presentan SoMBench, un benchmark basado en psicología que abarca 17 dimensiones secundarias y 3.481 instancias verificadas por expertos, el cual revela que los LLM actuales tienen un margen significativo de mejora, sin que ningún modelo alcance un rendimiento cercano al máximo.

media Hugging Face Forums · hace 15 d · 2 vistas

El benchmark SRRM revela que Qwen2.5-1.5B supera a 3B en memoria de contexto largo

Un investigador busca un aval de arXiv cs.CL para un artículo que presenta Simple Retrieval-Reconstruction Memory (SRRM), un benchmark ligero diseñado para evaluar la memoria de contexto largo en Modelos de Lenguaje Pequeños.

arxiv arXiv cs.CL · hace 24 d

El ajuste fino de LLM con rasgos mejora la puntuación de ensayos según múltiples rúbricas

Los investigadores abordan el desafío de la puntuación automática de ensayos cuando los educadores revisan o introducen nuevas rúbricas, un escenario conocido como generalización cruzada de rúbricas. Proponen un marco de ajuste fino para Modelos de Lenguaje Grande que utiliza representaciones intermedias independientes de la rúbrica llamadas "rasgos" junto con la supervisión del ensayo objetivo durante el entrenamiento.

arxiv arXiv cs.CL · hace 24 d

Seguimiento en vivo de Gurbani: Benchmark y sistema de referencia para la transcripción de Kirtan sij

Los autores presentan un benchmark y un sistema de referencia para la transcripción en vivo del Kirtan sij, que implica la recitación cantada continua de versos del Sri Guru Granth Sahib Ji. A diferencia de la transcripción con vocabulario abierto, esta tarea requiere coincidencias exactas palabra por palabra del texto canónico para evitar errores ortográficos religiosamente inapropiados.