arxiv arXiv cs.AI · hace 90 d · research

ScenA: Generación de Escenas de Audio Multi-Parlante Basada en Referencias

Traducido del English → Español

ScenA condiciona un modelo base de texto a audio en múltiples voces de referencia y una descripción de escena en lenguaje natural para generar conversaciones realistas multi-parlante. Aborda el problema del 'Atajo de Referencia' mediante un programa de entrenamiento con sesgo hacia alto ruido, asegurando que la asignación del hablante dependa de las indicaciones de texto en lugar de la similitud acústica. Evaluado en CoVoMix2-Dialogue, ScenA supera a los sistemas existentes en la vinculación de hablantes y produce audio rico y naturalista con habla superpuesta y ruido ambiental.

Importancia 3/3 Supera un benchmark de un laboratorio puntero Nueva función frente a los líderes arXiv cs.AI OpenAI Google DeepMind Microsoft Research AI agents Evaluation & benchmarks Voice & audio

Leer original

WorldLines: Evaluación de la memoria de agentes encarnados en horizontes temporales largos

WorldLines presenta una evaluación basada en proyectos para la asistencia doméstica encarnada en horizontes temporales largos, capturando secuencias extendidas del hogar con diálogos, acciones y cambios de estado. Permite muestras vinculadas a evidencia para Memoria QA y Planificación de Tareas Encarnadas, y propone ObsMem, un marco de memoria basado en observadores que soporta memorias conscientes de la visibilidad y decisiones conscientes del estado. Los experimentos destacan los desafíos en la observabilidad parcial y la traducción de memoria, con ObsMem proporcionando una arquitectura de referencia más sólida para este tipo de entornos.

arxiv arXiv cs.CL · hace 73 d · 17 vistas

GPT-5 supera a los humanos en la inducción de estados de creencia mediante planificación

Un nuevo estudio evalúa la capacidad de los Modelos de Lenguaje Grande (LLM) para inducir estados de creencia específicos en otros agentes mediante acciones en lugar de conversación, una capacidad denominada ToM de Planificación No Conversacional (NCP-ToM). Utilizando el marco NCP-ExploreToM, los investigadores probaron seis modelos de vanguardia y participantes humanos en 600 instancias de tareas donde los agentes debían mover objetos o dirigir personajes para lograr objetivos de creencia.

arxiv arXiv cs.CL · hace 85 d · 10 vistas

OpenBioRQ: Benchmark para la Fidelidad de la Investigación Biomédica Agéntica

OpenBioRQ introduce un benchmark de 12,553 preguntas de investigación biomédica sin resolver en 12 dominios, diseñado para probar la fidelidad y la abstención de los modelos agénticos. Evalúa los modelos en un entorno de uso de herramientas sin claves de respuesta, utilizando evidencia real de seguimiento en lugar de conocimiento paramétrico, y revela un colapso agéntico significativo en las preguntas más difíciles donde las herramientas ya no se utilizan a pesar de ser críticas.

arxiv arXiv cs.AI · hace 89 d · 19 vistas

NRT-Bench: Red-teaming multi-turn de agentes LLM en sistemas críticos para la seguridad

NRT-Bench presenta un benchmark para el red-teaming multi-turn de agentes LLM que operan en una planta de energía nuclear simulada. En cuatro modelos de operador de vanguardia, entre el 8,7 % y el 12,1 % de las sesiones de ataque provocan la pérdida de una función crítica de seguridad, con vulnerabilidades en gran medida disjuntas entre los modelos. La efectividad de las defensas varía significativamente según el modelo, mostrando una fuerte dependencia del modelo.

arxiv arXiv cs.AI · hace 89 d · 11 vistas

Desvío defensivo contra ataques automatizados en IA agéntica

Los sistemas de IA agéntica enfrentan crecientes amenazas por parte de ataques automatizados guiados por modelos. Una nueva estrategia de defensa, Desvío Contextual mediante Compromiso Progresivo (CMPE), reduce las tasas de éxito del atacante hasta en dos órdenes de magnitud y casi elimina el éxito verificado del ataque en pruebas de referencia.