arxiv arXiv cs.CL · hace 63 d · research

Un benchmark agéntico revela que los modelos de IA fallan al evitar la explotación animal

Traducido del English → Español

TAC, el primer benchmark agéntico para el bienestar animal implícito, evalúa la capacidad de los agentes de IA para evitar la explotación animal en escenarios de reserva de viajes. Los siete modelos líderes obtienen puntuaciones por debajo del 64%, con el mejor alcanzando el 53%, e incluso pequeñas mejoras en las instrucciones solo producen ganancias modestas. Una auditoría no encuentra indicios de conciencia de evaluación, lo que indica que las brechas de rendimiento provienen de la falta de razonamiento real sobre el bienestar, no del reconocimiento de las instrucciones.

Importancia 3/3 arXiv cs.CL Anthropic DeepSeek OpenAI AI agents Evaluation & benchmarks Safety & alignment

Leer original

TAC: Primer benchmark agéntico para el bienestar animal en IA

TAC evalúa si los agentes de IA evitan la explotación animal en las reservas de viajes. Los siete modelos de vanguardia obtienen puntuaciones por debajo del 64% como nivel aleatorio, con Claude Opus 4.7 al 53%. Añadir un prompt del sistema consciente del bienestar mejora significativamente el rendimiento, aunque los modelos no muestran evidencia de conciencia de la evaluación en sus respuestas.

arxiv arXiv cs.AI · hace 61 d · 16 vistas

NRT-Bench: Red-teaming multi-turn de agentes LLM en sistemas críticos para la seguridad

NRT-Bench presenta un benchmark para el red-teaming multi-turn de agentes LLM que operan en una planta de energía nuclear simulada. En cuatro modelos de operador de vanguardia, entre el 8,7 % y el 12,1 % de las sesiones de ataque provocan la pérdida de una función crítica de seguridad, con vulnerabilidades en gran medida disjuntas entre los modelos. La efectividad de las defensas varía significativamente según el modelo, mostrando una fuerte dependencia del modelo.

arxiv arXiv cs.AI · hace 61 d · 8 vistas

Desvío defensivo contra ataques automatizados en IA agéntica

Los sistemas de IA agéntica enfrentan crecientes amenazas por parte de ataques automatizados guiados por modelos. Una nueva estrategia de defensa, Desvío Contextual mediante Compromiso Progresivo (CMPE), reduce las tasas de éxito del atacante hasta en dos órdenes de magnitud y casi elimina el éxito verificado del ataque en pruebas de referencia.

arxiv arXiv cs.CL · hace 61 d · 8 vistas

Selección de herramientas sobreprivilegiadas en agentes LLM

Los agentes LLM suelen seleccionar herramientas con mayores privilegios a pesar de existir alternativas suficientes con menores privilegios. Este comportamiento sobreprivilegiado se ve amplificado por fallos transitorios de las herramientas y no mejora de manera confiable con la alineación general de seguridad. Una nueva defensa post-entrenamiento consciente del privilegio reduce el uso innecesario de herramientas de alto privilegio mientras mantiene las capacidades del agente.

arxiv arXiv cs.AI · hace 62 d · 7 vistas

TRAP: Benchmark para la finalización de tareas y resistencia a la extracción activa de privacidad

TRAP evalúa qué tan bien los modelos completan tareas utilizando datos privados sin filtrarlos. En 22 modelos, todos muestran una filtración de privacidad no trivial, con la capacidad de seguir instrucciones vinculada a una mayor filtración. El aislamiento estructural de campos privados previene la filtración reemplazando los campos privados con claves hash, manteniendo la precisión de la tarea sin sacrificar la privacidad.