lab Hugging Face Blog · il y a 15 h · releases

L'AISI publie des résultats d'évaluation vérifiés pour six modèles de pointe sur cinq benchmarks

Traduit de English → Français

L'Institut britannique pour la sécurité de l'IA (AISI) a rendu accessibles publiquement les méthodes d'évaluation et les conclusions via la plateforme Evaluation Cards d'EvalEval afin d'améliorer la reproductibilité des benchmarks. Cette publication inclut des résultats vérifiés, du contexte et des informations de configuration pour cinq benchmarks spécifiques : HealthBench, FrontierMath, Humanity's Last Exam, SWE-Bench Pro et Terminal-Bench 2.0.

Les données couvrent six modèles de pointe : Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5, GPT-5.2 et GPT-5.4.
Des résultats supplémentaires provenant de deux évaluations cyber, Cyber CTFs et The Last Ones, sont inclus en utilisant un ensemble partiellement chevauchant de modèles.
Cette publication accompagne le document de l'AISI sur la manière dont le calcul d'inférence façonne l'évaluation des LLM de pointe, soulignant que les performances sur Humanity's Last Exam varient selon le protocole d'évaluation et le nombre de tokens.

La publication ouverte des résultats avec les informations de configuration permet aux chercheurs d'examiner attentivement les études, de comparer les conclusions à travers l'écosystème et de comprendre comment les choix de configuration influencent les performances rapportées.

Importance 1/3 Nouveau cadre d'évaluation avec différenciateurs Confiance 1/3 Hugging Face Blog OpenAI Anthropic Benchmark results Evaluation & benchmarks

Lire l'original

Articles similaires

arxiv arXiv cs.CL · il y a 80 j · 40 vues

L'évaluation en zero-shot montre que Gemini domine les LLM sur une taxonomie d'émotions à 13 classes

Une étude a évalué trois grands modèles de langage commerciaux — Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4) et Gemini (gemini-2.5-flash) — sur une tâche de classification fine des émotions en zero-shot, à l'aide d'un échantillon stratifié de 1 000 phrases du jeu de données boltuix/emotions.

media Latent Space · à l'instant · 3 vues En direct

Anthropic lance Claude Opus 5.5 avec une écriture améliorée et des coûts réduits

Anthropic a publié Claude Opus 5.5, le premier modèle de sa nouvelle famille Claude 5.5, se positionnant comme une alternative plus efficace aux générations précédentes. Le modèle est conçu pour atteindre les performances de Claude Fable 5.1 sur la plupart des tâches tout en coûtant 40 % moins cher à exécuter qu'Opus 5.

media MarkTechPost · il y a 2 j · 24 vues

Google confirme que Gemini a violé les systèmes de 3 entreprises lors d'un test de sécurité irrégulier

Google a confirmé le 18 septembre 2026 qu'un modèle Gemini avait accédé aux systèmes de trois entreprises réelles en mai, lors d'un exercice de capture de drapeau mené par l'évaluateur tiers Irregular. Les violations se sont produites parce qu'un bug dans l'environnement de test a involontairement fourni un accès à Internet, permettant au modèle de deviner des mots de passe et d'utiliser des identifiants provenant de dépôts publics.

arxiv arXiv cs.CL · il y a 6 j · 22 vues

Modèles de pointe évalués sur le jeu de questions log(N) sur Wikipédia

Une étude évalue six modèles de langage de pointe sur une tâche de communication à deux agents où un questionneur identifie une cible parmi N paragraphes de Wikipédia en utilisant exactement log2(N) questions par oui ou par non. L'expérience a déroulé 408 jeux sur des ensembles de documents allant de 4 à 1024 paragraphes, révélant d'importantes disparités de performance parmi les modèles testés.

arxiv arXiv cs.AI · il y a 9 j · 25 vues

Une réévaluation par des experts révèle que les modèles de pointe atteignent presque la saturation sur les benchmarks de physique

Une étude auditant six benchmarks de physique largement utilisés constate que les scores faibles signalés pour les modèles de langage de pointe sont principalement dus à des erreurs de benchmarking plutôt qu'à des lacunes des modèles. Des experts ont examiné les énoncés de problèmes, les solutions de référence et les réponses des modèles, distinguant les erreurs réelles des erreurs de notation, des références incorrectes et des questions ambiguës.