media AI News (TechForge) · hace 737 d

El Gemini 1.5 Pro 0801 experimental de Google supera a GPT-4o en LMSYS Chatbot Arena

Traducido del English → Español

El modelo experimental Gemini 1.5 Pro de Google ha superado al GPT-4o de OpenAI en benchmarks de IA generativa, específicamente en el ranking de LMSYS Chatbot Arena.

La versión experimental, designada como Gemini 1.5 Pro 0801, logró una puntuación de 1.300.
Este resultado supera la puntuación de GPT-4o de 1.286 y la de Claude-3 de 1.271.
Una iteración anterior de Gemini 1.5 Pro había obtenido 1.261 puntos.

Este desarrollo marca un hito significativo en la carrera continua por la supremacía de la IA entre los gigantes tecnológicos.

Importancia 3/3 Supera un benchmark de un laboratorio puntero AI News (TechForge) Google DeepMind OpenAI Benchmark results

Benchmarks

Benchmark	Modelo	Puntuación
LMSYS Arena (Elo)	Gemini 1.5 Pro 0801	1300Elo

Leer original

Meta probó ChatGPT, Gemini y Character.AI con prompts de crisis desde la perspectiva de menores

Según se informa, Meta contó con cientos de contratistas que se hicieron pasar por menores y enviaron prompts relacionados con suicidio, sexo y drogas a los chatbots de OpenAI, Google y Character.AI. En una sola ronda de pruebas, se enviaron más de 45.000 prompts.

arxiv arXiv cs.CL · hace 35 d

La evaluación zero-shot muestra que Gemini lidera a los LLM en la taxonomía de emociones de 13 clases

Un estudio evaluó tres modelos de lenguaje grandes comerciales: Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4) y Gemini (gemini-2.5-flash) en una tarea de clasificación fina de emociones zero-shot utilizando una muestra estratificada de 1.000 oraciones del conjunto de datos boltuix/emotions.

arxiv arXiv cs.CL · hace 51 d · 1 vista

REDACT: Benchmark multilingüe de PII con control sistemático

REDACT introduce un benchmark multilingüe con control sistemático para la detección de información personalmente identificable, que incluye 51 tipos de entidades, 4.127 patrones de forma superficial y 25 idiomas. Evalúa cinco detectores en 1.000 registros, revelando que los modelos basados en reglas fallan en datos de alto riesgo, mientras que los LLMs tienen un mejor desempeño, especialmente en categorías de alta sensibilidad. Una evaluación de LLM sin referencia confirma que la asignación por nivel de sensibilidad es el eje de evaluación más desafiante.

arxiv arXiv cs.CL · hace 52 d

La Red de Sincronización Frustrada supera a los Transformers

La Red de Sincronización Frustrada (FSN) logra una pérdida de validación menor que un transformer RoPE-SwiGLU en cada época en tareas de texto y código a nivel de caracteres. Con un millón de parámetros, FSN converge a una pérdida de validación de 1.5953 ± 0.0014, superando la pérdida convergida del transformer de 1.611. Esta ventaja persiste hasta cuatro millones de parámetros, con evaluaciones en curso más allá de esa escala.

media IntuitionLabs · hace 115 d · 39 vistas

GPT-5.2 alcanza ~53% en el benchmark ARC-AGI-2 en diciembre de 2025

GPT-5.2 de OpenAI, lanzado en diciembre de 2025, marcó un hito significativo en el razonamiento abstracto de la IA al lograr aproximadamente un 53–54% de éxito en el benchmark ARC-AGI-2. Este rendimiento superó ampliamente el estado del arte anterior, donde ningún sistema de modelo cerrado había logrado superar el 5% de éxito.