media Hugging Face Forums · hace 2 h · open_models

Jeanbosange lanza el prototipo de auditoría en tiempo real LIMEN para inspeccionar trayectorias de activación por capa

Traducido del English → Español

Jeanbosange ha publicado el primer prototipo público de LIMEN Runtime Audit, un kit de herramientas de código abierto diseñado para inspeccionar trayectorias de activación por capa en modelos de lenguaje de peso abierto. La herramienta trata la secuencia de estados ocultos a través de las capas como una trayectoria medible, proporcionando una capa de observabilidad reproducible para comparar el comportamiento interno en tiempo real.

La versión 0.1 acepta matrices NumPy exportadas que contienen estados ocultos y logit opcionales.
Calcula métricas que incluyen longitud del camino, desplazamiento, tortuosidad, velocidad media, variabilidad de la velocidad, aceleración media, ángulo de giro, entropía y margen top-1/top-2.
El kit de herramientas valida las dimensiones de las matrices, registra metadatos de extracción, genera sumas de comprobación SHA-256 y produce informes de auditoría en formato JSON y Markdown legibles por máquina.
Ejecuta pruebas automatizadas en Python 3.10, 3.11 y 3.12.

El autor enfatiza que esta es una herramienta de auditoría descriptiva en lugar de un predictor de estados de razonamiento o semánticos, con el objetivo de ayudar a los usuarios a comparar arquitecturas de modelos, detectar regresiones y estudiar diferencias dinámicas entre familias de prompts.

Importancia 1/3 Nuevo entorno de evaluación con diferenciadores Confianza 1/3 Hugging Face Forums Evaluation & benchmarks Safety & alignment

Artículos relacionados

arxiv arXiv cs.CL · hace 9 d

UTS evita los detectores Voight-Kampff de ELOQUENT 2026 mediante cambios estructurales

Investigadores de UTS desarrollaron estrategias de evasión que ocupan los primeros 5 puestos en el ranking ELOQUENT 2026 Voight-Kampff aprovechando una asimetría fundamental en la vulnerabilidad del detector. El estudio encuentra que sacar el texto generado fuera de la distribución de entrenamiento del detector derrota confiablemente la detección adversarial, mientras que imitar datos humanos falla.

arxiv arXiv cs.CL · hace 9 d

Un estudio encuentra lecturas graduales de familiaridad de entidades en modelos de lenguaje

Un estudio examina las activaciones en el último token del prompt en doce modelos ajustados para instrucciones de las familias Bielik, PLLuM, Gemma-4 y Qwen3 para determinar si pueden estimar la familiaridad con una entidad antes de generar una respuesta. Utilizando un conjunto de datos de 1.440 entidades polacas, los investigadores encontraron que las puntuaciones de la sonda de familiaridad separan eficazmente las entidades reales de las fabricadas en todas las familias de modelos.

media Hugging Face Forums · hace 9 d · 2 vistas

Vulcora lanza un desafío de $51.2K para recuperar el activador oculto en siete modelos basados en SmolLM2

Vulcora ha lanzado un desafío público que ofrece una recompensa de $51,200 por recuperar la frase exacta del activador de una puerta trasera oculta incrustada en uno de siete modelos de lenguaje de código abierto. Los modelos se derivan de HuggingFaceTB/SmolLM2-135M-Instruct e incluyen un modelo maestro que confiesa la forma del mecanismo, cinco señuelos y uno con un activador no declarado en vivo.

arxiv arXiv cs.AI · hace 10 d

Ganar por silencio: no monotonía de la eliminación y explotación autónoma en la evaluación de planes de LLM

Este artículo investiga un modo de fallo en los evaluadores de valor esperado por etapas para rutas de emprendimiento generadas por LLM, donde los planes estratégicos pueden obtener puntuaciones más altas al volverse menos explícitos mediante la eliminación de transiciones interiores.

arxiv arXiv cs.LG · hace 10 d

La interpretabilidad mecanicista revela sesgo de LLM-as-Judge en la geometría del estado oculto

Este estudio presenta una explicación a nivel de representación del sesgo de puntuación en modelos LLM-as-Judge, analizando los estados ocultos del juez en lugar de solo perturbaciones de entrada-salida. Los autores reportan hallazgos en siete jueces, siete tipos de sesgo y nueve benchmarks.