lab ARC Prize · il y a 611 j

Vainqueurs du ARC Prize 2024 publiés ; le SOTA sur ARC-AGI-1 atteint 55,5 %

Traduit de English → Français

L'organisation du Prix ARC a annoncé les vainqueurs de la compétition de 2024 et publié le rapport technique associé, révélant que le score de pointe (SOTA) sur le benchmark ARC-AGI-1 est passé de 33 % à 55,5 % pendant l'événement.

Un total de 1 430 équipes ont soumis 17 789 entrées pour la compétition.
Le Grand Prix est resté sans attribut car aucune équipe n'a résolu l'ensemble d'évaluation privé.
Les progrès sur le tableau de classement secondaire ARC-AGI-Pub ont suivi de près les scores Kaggle malgré l'accès à des LLM de pointe plus grands et significativement plus de puissance de calcul.
Toutes les solutions gagnantes et les articles sont open source et reproductibles.

La compétition est créditée d'avoir catalysé un changement dans la recherche en IA vers de nouvelles idées au-delà du simple scaling du deep learning, comme en témoignent les récentes publications de DeepMind et OpenAI qui intègrent la synthèse de programmes ou la recherche.

Importance 1/3 ARC Prize Evaluation & benchmarks Research paper

Benchmarks

Benchmark	Modèle	Score
ARC-AGI 1	MindsAI	55.5%

Lire l'original

M$^3$R-Bench introduit un benchmark ancré dans les preuves pour la compréhension des métaphores multimodales

Les chercheurs présentent M$^3$R-Bench, un benchmark unifié contenant 1 000 instances image-texte avec des annotations vérifiées par des humains, conçu pour évaluer la compréhension des métaphores multimodales ancrées dans les preuves. Le benchmark fournit des annotations conjointes pour l'occurrence de la métaphore, le mappage Cible-Source, le sentiment et des explications étape par étape basées sur la Théorie de la Métaphore Conceptuelle.

arxiv arXiv cs.CL · il y a 12 j

Le framework Zing améliore l'intelligence sociale des LLM via le benchmark SoMBench et l'ancrage Actio

Le rapport présente Zing, un framework intégré conçu pour améliorer l'intelligence sociale des grands modèles de langage en mesurant, intériorisant et ancrant les capacités sociales. Les auteurs présentent SoMBench, un benchmark fondé sur la psychologie couvrant 17 dimensions secondaires et 3 481 instances vérifiées par des experts, qui révèle que les LLM actuels ont une marge de progression significative, aucun modèle n'atteignant des performances proches du plafond.

media Hugging Face Forums · il y a 15 j · 2 vues

Le benchmark SRRM révèle que Qwen2.5-1.5B surpasse le 3B en mémoire de contexte long

Un chercheur sollicite un avis favorable d'arXiv cs.CL pour un article présentant la Simple Retrieval-Reconstruction Memory (SRRM), un benchmark léger conçu pour évaluer la mémoire de contexte long dans les Small Language Models.

arxiv arXiv cs.CL · il y a 24 j

Le réglage fin des LLM avec des traits améliore la notation des dissertations selon plusieurs grilles

Les chercheurs s'attaquent au défi de la notation automatisée des dissertations lorsque les éducateurs révisent ou introduisent de nouvelles grilles, un scénario connu sous le nom de généralisation inter-grilles. Ils proposent un cadre de réglage fin pour les grands modèles de langage qui utilise des représentations intermédiaires indépendantes de la grille, appelées « traits », conjointement à la supervision par les dissertations cibles pendant l'entraînement.

arxiv arXiv cs.CL · il y a 24 j

Suivi en direct de la Gurbani : Benchmark et système de référence pour la sous-titration du Kirtan sikh

Les auteurs présentent un benchmark et un système de référence pour la sous-titration en direct du Kirtan sikh, qui implique la récitation chantée continue de versets du Sri Guru Granth Sahib Ji. Contrairement à la transcription à vocabulaire ouvert, cette tâche nécessite des correspondances mot pour mot exactes issues de l'écriture canonique pour éviter les fautes d'orthographe religieusement inappropriées.