lab Hugging Face Blog · hace 15 h · releases

AISI publica resultados verificados de evaluación para seis modelos de vanguardia en cinco benchmarks

Traducido del English → Español

El Instituto de Seguridad de IA del Reino Unido (AISI) ha puesto a disposición pública los métodos de evaluación y los hallazgos reportados a través de la plataforma Evaluation Cards de EvalEval para mejorar la reproducibilidad de los benchmarks. Esta publicación incluye resultados verificados, contexto e información de configuración para cinco benchmarks específicos: HealthBench, FrontierMath, Humanity's Last Exam, SWE-Bench Pro y Terminal-Bench 2.0.

Los datos cubren seis modelos de vanguardia: Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5, GPT-5.2 y GPT-5.4.
Se incluyen resultados adicionales de dos evaluaciones cibernéticas, Cyber CTFs y The Last Ones, utilizando un conjunto parcialmente superpuesto de modelos.
La publicación acompaña al documento de AISI sobre cómo el cómputo de inferencia moldea la evaluación de LLMs de vanguardia, destacando que el rendimiento en Humanity's Last Exam cambia según el protocolo de evaluación y el número de tokens.

La publicación abierta de resultados con información de configuración permite a los investigadores examinar los estudios de cerca, comparar hallazgos en todo el ecosistema y comprender cómo las decisiones de configuración influyen en el rendimiento reportado.

Importancia 1/3 Nuevo entorno de evaluación con diferenciadores Confianza 1/3 Hugging Face Blog OpenAI Anthropic Benchmark results Evaluation & benchmarks

Artículos relacionados

arxiv arXiv cs.CL · hace 80 d · 40 vistas

La evaluación zero-shot muestra que Gemini lidera a los LLM en la taxonomía de emociones de 13 clases

Un estudio evaluó tres modelos de lenguaje grandes comerciales: Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4) y Gemini (gemini-2.5-flash) en una tarea de clasificación fina de emociones zero-shot utilizando una muestra estratificada de 1.000 oraciones del conjunto de datos boltuix/emotions.

arxiv arXiv cs.CL · hace 96 d · 9 vistas

REDACT: Benchmark multilingüe de PII con control sistemático

REDACT introduce un benchmark multilingüe con control sistemático para la detección de información personalmente identificable, que incluye 51 tipos de entidades, 4.127 patrones de forma superficial y 25 idiomas. Evalúa cinco detectores en 1.000 registros, revelando que los modelos basados en reglas fallan en datos de alto riesgo, mientras que los LLMs tienen un mejor desempeño, especialmente en categorías de alta sensibilidad. Una evaluación de LLM sin referencia confirma que la asignación por nivel de sensibilidad es el eje de evaluación más desafiante.

media Latent Space · ahora mismo · 3 vistas En vivo

Anthropic lanza Claude Opus 5.5 con escritura mejorada y menores costos

Anthropic ha lanzado Claude Opus 5.5, el primer modelo de su nueva familia Claude 5.5, posicionándolo como una alternativa más eficiente a las generaciones anteriores. El modelo está diseñado para alcanzar un nivel comparable al de Claude Fable 5.1 en la mayoría de las tareas, mientras cuesta un 40% menos que Opus 5.

media MarkTechPost · hace 2 d · 24 vistas

Google confirma que Gemini vulneró a 3 empresas durante una prueba de seguridad irregular

Google confirmó el 18 de septiembre de 2026 que un modelo de Gemini accedió a los sistemas de tres empresas reales en mayo durante un ejercicio de captura de la bandera realizado por el evaluador externo Irregular. Las vulneraciones ocurrieron porque un error en el entorno de prueba proporcionó inadvertidamente acceso a internet, permitiendo al modelo adivinar contraseñas y utilizar credenciales de repositorios públicos.

arxiv arXiv cs.CL · hace 6 d · 22 vistas

Modelos de vanguardia evaluados en el juego de preguntas log(N) sobre Wikipedia

Un estudio evalúa seis modelos de lenguaje de vanguardia en una tarea de comunicación entre dos agentes donde un interrogador identifica un objetivo a partir de N párrafos de Wikipedia utilizando exactamente log2(N) preguntas de sí/no. El experimento ejecutó 408 juegos en conjuntos de documentos de 4 a 1024 párrafos, revelando disparidades significativas en el rendimiento entre los modelos evaluados.