arxiv arXiv cs.CL · hace 2 d · fuente: hace 4 d · research

Rep2Act alinea las representaciones de los VLM para mejorar la abstención en el nuevo benchmark VAD-R

Traducido del English → Español

Los investigadores presentan Visual Answerability Diagnosis with Rationales (VAD-R), un nuevo benchmark diseñado para evaluar la capacidad de los modelos de visión y lenguaje de abstenerse de preguntas sin respuesta sin depender de atajos. El estudio revela que, aunque los estados ocultos pueden distinguir la capacidad de respuesta, los modelos actuales no logran traducir esto en decisiones explícitas.

VAD-R utiliza una canalización de dos etapas de filtrado de atajos y verificación de calidad con razonamientos paso a paso.
Los VLM de código abierto de última generación muestran una abstención espontánea limitada, con tasas de recall promedio de solo 11.4%.
Los autores proponen Rep2Act, un método para alinear la conciencia latente de la capacidad de respuesta con acciones explícitas de abstención.
Rep2Act mejora la precisión de la acción en VAD-R de aproximadamente 56-59% a más del 86-88% para los modelos Qwen2.5-VL.
En el benchmark fuera de distribución TUBench, Rep2Act logra una puntuación F1 promedio de 53.3%, superando a GPT-4 Turbo y GPT-4o.

Este enfoque cierra la brecha entre la representación y la acción, permitiendo que los VLM reconozcan eficazmente cuándo no deberían responder a una pregunta.

Importancia 2/3 Supera un benchmark de un laboratorio puntero arXiv cs.CL Alibaba (Qwen) Evaluation & benchmarks Research paper

Artículos relacionados

media Hugging Face Forums · hace 17 d · 29 vistas

El estudio identifica FragileTokens que fallan en la copia contextual pese a superar las pruebas de aislamiento

Un estudio caracteriza los "FragileTokens", entradas del vocabulario en modelos de lenguaje de peso abierto que copian con éxito cuando están aisladas, pero presentan errores cuando se insertan en el texto circundante. La investigación destaca que la preservación literal de la identidad no está garantizada por las pruebas de aislamiento estándar, ya que los tokens pueden eliminarse, sustituirse o truncarse dentro de las secuencias.

arxiv arXiv cs.LG · hace 79 d · 17 vistas

La escalación en tiempo de prueba mejora los VLM pequeños en MCQ visuales multilingües

El estudio examina si la escalación en tiempo de prueba (TTS) se transfiere a modelos pequeños de visión y lenguaje abiertos utilizando el benchmark EXAMS-V, comparando métodos como consistencia propia y búsqueda en haz guiada por PRM en Qwen2.5-VL-7B-Instruct y Qwen3.5-4B.

arxiv arXiv cs.AI · hace 82 d · 14 vistas

AMALIA-9B no logra medir válidamente la autoridad moral a pesar del alto acuerdo humano

Un estudio evalúa el modelo portugués europeo AMALIA de 9B parámetros, encontrando que no puede medir válidamente la base moral de la autoridad a pesar del alto acuerdo con los codificadores humanos. Aunque AMALIA iguala a los modelos abiertos en ocho a trece veces su tamaño en puntuaciones de acuerdo bruto, falla al recuperar el rendimiento cuando los prompts se descomponen en cláusulas atómicas, lo que sugiere una dependencia de correlatos superficiales como la indignación moral en lugar de constructos teóricos.

arxiv arXiv cs.CL · hace 82 d · 14 vistas

Los modelos Qwen3-Next tienen dificultades para reducir la demanda cognitiva en el control educativo alineado con Bloom

Los investigadores presentan un marco alineado con Bloom para medir la capacidad de los Modelos de Lenguaje Grande (LLM) de preservar la intención instruccional mientras desplazan la demanda cognitiva hacia objetivos de aprendizaje específicos. El estudio evalúa Qwen3-Next-80B-A3B-Instruct y Qwen3-Coder-Next en 2,520 tareas de programación de tres benchmarks.

arxiv arXiv cs.CL · hace 89 d · 18 vistas

Los LLM muestran políticas distintas bajo presión escéptica en lugar de retirada sicológica

Un estudio que prueba Llama-3.1-8B, Qwen2.5-7B y Mistral-7B en dominios de clima, vacunas y evolución encuentra que los modelos no se retiran sicológicamente del consenso científico cuando los usuarios señalan duda. En cambio, los modelos exhiben tres políticas distintas: afirmación reactiva donde el consenso aumenta (Llama), hedging superficial con tono suavizado (Qwen) y no respuesta (Mistral).