Un estudio de red-team de los modelos Fable 5 y Opus 4.8 de Anthropic revela que ambos son vulnerables a ataques iterativos adaptativos, con Opus 4.8 comprometido en el 11.5% de las intenciones y Fable 5 en el 6.1%. A pesar de las defensas robustas, ambos modelos generaron 1,620 y 702 completados dañinos confirmados por panel a través de todas las categorías de daño, de forma automática y eficiente bajo ataque automatizado.
arxiv
arXiv cs.CL
·
hace 78 d
·
research
Estudio de Red-Team Encuentra que los LLMs de Vanguardia Siguen Vulnerables a Ataques Automatizados
Traducido del English → Español
Artículos relacionados
arxiv
arXiv cs.AI
·
hace 76 d
·
11 vistas
NRT-Bench: Red-teaming multi-turn de agentes LLM en sistemas críticos para la seguridad
NRT-Bench presenta un benchmark para el red-teaming multi-turn de agentes LLM que operan en una planta de energía nuclear simulada. En cuatro modelos de operador de vanguardia, entre el 8,7 % y el 12,1 % de las sesiones de ataque provocan la pérdida de una función crítica de seguridad, con vulnerabilidades en gran medida disjuntas entre los modelos. La efectividad de las defensas varía significativamente según el modelo, mostrando una fuerte dependencia del modelo.
arxiv
arXiv cs.AI
·
hace 76 d
·
7 vistas
Desvío defensivo contra ataques automatizados en IA agéntica
Los sistemas de IA agéntica enfrentan crecientes amenazas por parte de ataques automatizados guiados por modelos. Una nueva estrategia de defensa, Desvío Contextual mediante Compromiso Progresivo (CMPE), reduce las tasas de éxito del atacante hasta en dos órdenes de magnitud y casi elimina el éxito verificado del ataque en pruebas de referencia.
arxiv
arXiv cs.CL
·
hace 77 d
·
5 vistas
Selección de herramientas sobreprivilegiadas en agentes LLM
Los agentes LLM suelen seleccionar herramientas con mayores privilegios a pesar de existir alternativas suficientes con menores privilegios. Este comportamiento sobreprivilegiado se ve amplificado por fallos transitorios de las herramientas y no mejora de manera confiable con la alineación general de seguridad. Una nueva defensa post-entrenamiento consciente del privilegio reduce el uso innecesario de herramientas de alto privilegio mientras mantiene las capacidades del agente.
arxiv
arXiv cs.AI
·
hace 78 d
·
5 vistas
TRAP: Benchmark para la finalización de tareas y resistencia a la extracción activa de privacidad
TRAP evalúa qué tan bien los modelos completan tareas utilizando datos privados sin filtrarlos. En 22 modelos, todos muestran una filtración de privacidad no trivial, con la capacidad de seguir instrucciones vinculada a una mayor filtración. El aislamiento estructural de campos privados previene la filtración reemplazando los campos privados con claves hash, manteniendo la precisión de la tarea sin sacrificar la privacidad.
arxiv
arXiv cs.LG
·
hace 78 d
·
2 vistas
Las inyecciones de triple llave en Handlebars explotan los delimitadores de rol estructural
La interpolación de triple llave de Handlebars no protege contra la inyección de rol estructural, ya que el escape de HTML solo neutraliza los delimitadores de corchetes angulares. Deja intactos los delimitadores de dos puntos y de hash de Markdown, lo que permite a los atacantes secuestrar el comportamiento del modelo. El escape predeterminado no proporciona protección para la mayoría de los esquemas de delimitador de rol y no puede reemplazar una clara separación de instrucciones y datos.