arxiv arXiv cs.CL · hace 54 d · research

Direcciones de activación causal para mitigar la desalineación emergente en modelos de lenguaje

Traducido del English → Español

El ajuste fino de modelos de lenguaje con código inseguro provoca una desalineación emergente. Una dirección de activación compartida entre cuatro familias de modelos logra una separación del 99,6% entre las activaciones alineadas y las desalineadas, y su resta reduce el derrame de código en 21-51 puntos. La transferencia entre arquitecturas muestra supresión conductual pero carece de especificidad; las direcciones dentro del modelo son causalmente accionables, mientras que las direcciones entre modelos solo son causalmente reales.

Importancia 3/3 Nuevo entorno de evaluación con diferenciadores arXiv cs.CL Alibaba (Qwen) Meta AI Mistral AI Evaluation & benchmarks Reasoning models Safety & alignment

Leer original

La dirección en tiempo de prueba resuelve conflictos de hechos temporales en LLMs

Los investigadores identifican conflictos temporales paramétricos en modelos de lenguaje donde los hechos desactualizados persisten en los parámetros. Introducen la Dirección Atractora Temporal (TAS), un método en tiempo de prueba que resuelve del 29% al 57% de estos conflictos sin reentrenamiento, manteniendo una precisión del 85-99% en consultas sin conflicto y superando a una línea base en tres de cuatro modelos.

arxiv arXiv cs.CL · hace 56 d · 5 vistas

Sesgo geográfico en modelos de lenguaje grandes a partir de metadatos del usuario

Un estudio revela que incluso los prompts neutrales desencadenan respuestas específicas de la región en modelos de lenguaje grandes debido a los metadatos del usuario. La filtración de ubicación aumenta hasta 793 veces en algunos modelos, y usar 'Desconocido' en lugar de los metadatos de ubicación aún causa un sesgo significativo, lo que indica que el propio marco del perfil del usuario actúa como una señal de condicionamiento.

media r/LocalLLaMA · hace 57 d · 2 vistas

HalBench evalúa 29 modelos de código abierto en sicolofía y alucinación

HalBench evalúa 29 LLMs de código abierto en un benchmark personalizado para sicolofía y alucinación. Qwen 3.6 y Gemma 4 superan a modelos más grandes, con Qwen 3.6 logrando un 36.6% de resistencia—más alto que GPT-5.4 y Gemini 3.1 Pro. El tamaño del modelo no se correlaciona con respuestas honestas, lo que indica que la arquitectura y los datos de entrenamiento importan más que los parámetros.

arxiv arXiv cs.CL · hace 39 d

Los LLM muestran políticas distintas bajo presión escéptica en lugar de retirada sicológica

Un estudio que prueba Llama-3.1-8B, Qwen2.5-7B y Mistral-7B en dominios de clima, vacunas y evolución encuentra que los modelos no se retiran sicológicamente del consenso científico cuando los usuarios señalan duda. En cambio, los modelos exhiben tres políticas distintas: afirmación reactiva donde el consenso aumenta (Llama), hedging superficial con tono suavizado (Qwen) y no respuesta (Mistral).

arxiv arXiv cs.AI · hace 49 d

LLMs evaluados para la detección de vulnerabilidades web

Un estudio evalúa seis LLMs en la detección de vulnerabilidades web del mundo real en plugins de WordPress, encontrando que las tasas de detección varían según el modelo y el diseño del prompt. Claude Opus 4.6 logró la tasa de detección más alta con un 63%, mientras que Qwen 3.5 solo alcanzó un 35%, y ningún modelo identificó consistentemente todas las vulnerabilidades de referencia a través de las iteraciones.