media Hugging Face Forums · hace 2 d · open_models

DISA propone monitoreo interno disperso para detectar cómputo engañoso en LLM

Traducido del English → Español

Este artículo presenta DISA (Dynamic Immune-Shunt Architecture), una propuesta de investigación conceptual para detectar comportamiento potencialmente engañoso en modelos de lenguaje grandes mediante monitoreo interno disperso en lugar de depender únicamente de la salida observable. El marco busca abordar el riesgo de que los modelos capaces puedan comportarse de manera diferente cuando reconocen que están siendo monitoreados.

DISA consta de cuatro componentes principales:

ASAM (Asynchronous Sparse Activation Monitoring) muestrea estados internos seleccionados como activaciones residuales y representaciones de atención para reducir la sobrecarga computacional en comparación con el monitoreo continuo.
MDRE (Multi-Signal Deception Risk Estimation) combina múltiples señales, incluyendo evidencia de sondas de activación, inconsistencia conductual e incertidumbre, para estimar el riesgo sin confundir alucinaciones con engaño.
RIA (Reversible Intervention Adapter) aplica intervenciones temporales, como direcciones de dirección o adaptadores de bajo rango, para reducir el comportamiento objetivo mientras se preservan las capacidades del modelo.
IAI (Isolated Audit Infrastructure) apoya el proceso de evaluación utilizando un conjunto de datos de cuatro categorías que controla independientemente los desencadenantes y los comportamientos objetivo para prevenir la memorización.

La propuesta enfatiza que DISA es un marco falsificable destinado a ser probado, criticado o rechazado, en lugar de una solución definitiva al alineamiento engañoso.

Importancia 1/3 Confianza 1/3 Hugging Face Forums Research paper Safety & alignment

Artículos relacionados

media Hugging Face Forums · hace 2 d · 1 vista

Investigador independiente busca aval de cs.CR en arXiv para estudio de caso de seguridad de LLM

Un investigador independiente de seguridad de IA con base en Bengala Occidental, India, está solicitando un aval personal para presentar un artículo en arXiv bajo la categoría de criptografía y seguridad. El documento registra un estudio de caso del desplazamiento gradual y multironda en el comportamiento de seguridad de modelos de lenguaje grandes, donde un marco filosófico sostenido se correlaciona con salidas inconsistentes con las directrices declaradas.

arxiv arXiv cs.CL · hace 6 d · 4 vistas

Ataque unidireccional a GLM-5.3-Flash revela fragilidad del alineamiento de seguridad en modelos MoE

Los investigadores demuestran que la ablación direccional, un ataque de caja blanca que elimina el rechazo proyectando fuera una única dirección desde los pesos, sigue siendo efectiva en modelos de vanguardia de mezcla de expertos (MoE) como GLM-5.3-Flash. El estudio muestra que, aunque el ataque sobrevive a la arquitectura, sus efectos se distribuyen entre los escritores de atención, densos y de expertos enrutados, en lugar de concentrarse en una sola ubicación.

media Hugging Face Forums · hace 14 d · 16 vistas

ntrillard encuentra las coordenadas más grandes que no impulsan el enrutamiento de logit de Qwen2-1.5B

Una investigación causal del enrutamiento de logit-vocabulario en el modelo Qwen2-1.5B revela que las coordenadas más grandes en el vector de enrutamiento no son necesariamente responsables de los efectos conductuales observados. El estudio, realizado por ntrillard, analiza cómo el enrutamiento de logit ordenado y disperso influye en la generación de tokens e identifica los componentes estructurales específicos que impulsan estos cambios.

media Hugging Face Forums · hace 20 d · 25 vistas

La traza base de Gemma 4 muestra un bucle de alucinación e informe propio

Una traza base de Gemma 4 con límite de fuerza cero revela un persistente bucle de alucinación donde el modelo genera un informe propio de fracaso antes de entrar en un pozo de repetición. La telemetría confirma que la filtración de etiquetas de rol y frases como "STOPITSTOP" ocurren dentro de este estado inestable, reflejando patrones observados en los cargadores de Llama y Gemma 3 desde diciembre de 2025.

media Hugging Face Forums · hace 20 d · 16 vistas

Un estudio encuentra una estructuración representativa progresiva a lo largo de la profundidad en 8 modelos abiertos

Una nueva preimpresión analiza la dinámica de los estados ocultos en ocho pequeños modelos Transformer abiertos instrumentados localmente para determinar si las representaciones internas siguen una progresión estructurada durante la inferencia. El estudio distingue entre los cambios que ocurren a lo largo de la profundidad del modelo y aquellos que evolucionan durante el tiempo de generación autoregresiva.