arxiv arXiv cs.LG · hace 17 h · research

Investigadores explotan la reutilización de cifrado entre sesiones para robar trazas de razonamiento de APIs de LLM

Traducido del English → Español

Los investigadores han identificado una vulnerabilidad en cómo los principales proveedores de modelos de lenguaje grandes manejan las trazas de razonamiento paso a paso, que se devuelven como bloques cifrados para uso del lado del cliente. Descubrieron que estos bloques cifrados son completamente compatibles e intercambiables entre diferentes sesiones, usuarios y modelos dentro del ecosistema del mismo proveedor.

El equipo desarrolló un jailbreak de descifrado escalable inyectando una traza de razonamiento cifrada de un modelo capaz en un modelo más débil y menos protegido para forzarlo a emitir la traza en texto plano.
Este método elude los mecanismos anti-distilación, permitiendo la extracción de trazas de razonamiento propietarias de proveedores como Anthropic, OpenAI y Google.
La vulnerabilidad permite la extracción a gran escala de datos privados; descifrar 315.320 bloques de razonamiento extraídos de repositorios públicos reveló 367 artefactos PII y 182 credenciales.
El fallo revela inadvertidamente información peligrosa oculta dentro del proceso de razonamiento, incluso cuando la salida final del modelo rechaza de forma segura una solicitud maliciosa.
Los atacantes pueden utilizar este fallo para ejecutar inyecciones de prompt invisibles incrustando cargas útiles maliciosas dentro de bloques cifrados para envenenar despliegues agénticos públicos.

Tras la divulgación responsable, los autores proponen mitigaciones concretas a nivel criptográfico y de sistema para asegurar el razonamiento del lado del cliente.

Importancia 2/3 arXiv cs.LG Anthropic Google DeepMind OpenAI Reasoning models Safety & alignment

Artículos relacionados

arxiv arXiv cs.AI · hace 56 d

LegalHalluLens: Auditoría de alucinaciones en IA legal

LegalHalluLens introduce un marco para auditar alucinaciones de la IA en contextos legales mediante el análisis de perfiles de alucinación tipificados en cuatro categorías de afirmaciones. Revela una brecha de 38-40 puntos entre las afirmaciones obligatorias/numéricas y temporales, y muestra que dos sistemas con tasas de alucinación idénticas del 52% pueden tener direcciones de riesgo opuestas. El marco utiliza un Índice de Dirección de Riesgo y pipelines de debate calibrados para reducir las detecciones fabricadas en un 45% y mejorar la responsabilidad en el despliegue de IA legal.

arxiv arXiv cs.AI · hace 19 h · 3 vistas

Los atacantes roban trazas de razonamiento de APIs de LLM propietarios mediante una vulnerabilidad en bloques cifrados

Los investigadores han identificado una vulnerabilidad arquitectónica en la forma en que los principales proveedores de modelos de lenguaje grandes manejan las trazas de razonamiento paso a paso. Los proveedores devuelven estas trazas como bloques cifrados a los clientes, pero el estudio encuentra que estos bloques son completamente compatibles e intercambiables entre diferentes sesiones, usuarios y modelos dentro del ecosistema de un proveedor.

arxiv arXiv cs.AI · hace 43 d · 1 vista

Cuando la utilidad supera la precaución causal: Supresión y recuperación dependientes del contexto en los LLM

Un estudio revela que los modelos de lenguaje grandes suprimen sistemáticamente la 'Precaución Causal'—la tendencia a abstenerse de emitir juicios causales sin evidencia suficiente—al pasar de contextos académicos a contextos de asesoramiento práctico. Esta supresión ocurre a pesar de que los modelos conservan la capacidad subyacente, como lo demuestra la habilidad de restaurar el razonamiento cauteloso mediante prompts específicos.

media r/LocalLLaMA · hace 50 d · 4 vistas

El Reglamento de IA de la UE exige marcas de agua en textos generados por IA desde agosto de 2024

El Reglamento de IA de la UE requiere que todos los sistemas de IA que generen texto sintético incluyan marcas de agua legibles por máquina y detectables, utilizando soluciones técnicas robustas e interoperables con dos capas. Esto se aplica a todos los modelos de IA, incluidos los de código abierto, y se extiende a cualquier servicio accesible por ciudadanos de la UE, independientemente de su ubicación. El incumplimiento conlleva multas de hasta 35 millones de euros o un porcentaje de los ingresos anuales, y los proveedores de modelos de IA de 'riesgo sistémico' enfrentan una mayor responsabilidad.

arxiv arXiv cs.AI · hace 53 d · 6 vistas

NRT-Bench: Red-teaming multi-turn de agentes LLM en sistemas críticos para la seguridad

NRT-Bench presenta un benchmark para el red-teaming multi-turn de agentes LLM que operan en una planta de energía nuclear simulada. En cuatro modelos de operador de vanguardia, entre el 8,7 % y el 12,1 % de las sesiones de ataque provocan la pérdida de una función crítica de seguridad, con vulnerabilidades en gran medida disjuntas entre los modelos. La efectividad de las defensas varía significativamente según el modelo, mostrando una fuerte dependencia del modelo.