media r/LocalLLaMA · hace 57 d · open_models

HalBench evalúa 29 modelos de código abierto en sicolofía y alucinación

Traducido del English → Español

HalBench evalúa 29 LLMs de código abierto en un benchmark personalizado para sicolofía y alucinación. Qwen 3.6 y Gemma 4 superan a modelos más grandes, con Qwen 3.6 logrando un 36.6% de resistencia—más alto que GPT-5.4 y Gemini 3.1 Pro. El tamaño del modelo no se correlaciona con respuestas honestas, lo que indica que la arquitectura y los datos de entrenamiento importan más que los parámetros.

Importancia 3/3 Supera un benchmark de un laboratorio puntero r/LocalLLaMA Alibaba (Qwen) DeepSeek Mistral AI Evaluation & benchmarks Reasoning models Safety & alignment

Leer original

Evaluación de referencia de modelos de lenguaje pequeños para PLN en árabe

Una evaluación de referencia con 240 elementos de prueba en árabe en ocho dominios y diez habilidades evalúa doce modelos de lenguaje pequeños en configuraciones zero-shot. Gemma 3 (12B) obtuvo la puntuación general más alta (4.548/5), seguido por Aya y C4AI Command Arabic, con un rendimiento vinculado más a la alineación con el árabe y al seguimiento de instrucciones que al tamaño del modelo. Los modos de fallo comunes incluyen filtración de prompt, alucinación y débil adherencia a la tarea.

arxiv arXiv cs.CL · hace 50 d · 2 vistas

Evaluación de referencia de modelos de lenguaje pequeños para PLN en árabe

Una evaluación de referencia de 240 elementos de prueba en árabe a través de ocho dominios y diez habilidades evalúa doce modelos de lenguaje pequeños en configuraciones zero-shot. Gemma 3 (12B) obtuvo la puntuación general más alta (4.548/5), seguido por Aya y C4AI Command Arabic, con un rendimiento vinculado más a la alineación en árabe y al seguimiento de instrucciones que al tamaño del modelo. Los modos de fallo comunes incluyen filtración de prompt, alucinación y débil adherencia a la tarea.

arxiv arXiv cs.CL · hace 54 d · 1 vista

Direcciones de activación causal para mitigar la desalineación emergente en modelos de lenguaje

El ajuste fino de modelos de lenguaje con código inseguro provoca una desalineación emergente. Una dirección de activación compartida entre cuatro familias de modelos logra una separación del 99,6% entre las activaciones alineadas y las desalineadas, y su resta reduce el derrame de código en 21-51 puntos. La transferencia entre arquitecturas muestra supresión conductual pero carece de especificidad; las direcciones dentro del modelo son causalmente accionables, mientras que las direcciones entre modelos solo son causalmente reales.

arxiv arXiv cs.CL · hace 56 d · 2 vistas

Los LLM predicen demencia y depresión a partir del habla clínica

Un estudio utiliza modelos de lenguaje grandes de peso abierto para evaluar la gravedad de la demencia y la depresión a partir de entrevistas clínicas. Los LLM logran una predicción precisa de la depresión en zero-shot (MAE 0.60) y una evaluación mejorada de la demencia con extracción de características (MAE 0.78), reduciendo los errores hasta un 35%. Las transcripciones enriquecidas con pausas coinciden con las transcripciones humanas, apoyando los flujos de trabajo de detección automatizada para trastornos neuropsiquiátricos.

arxiv arXiv cs.CL · hace 56 d · 5 vistas

Sesgo geográfico en modelos de lenguaje grandes a partir de metadatos del usuario

Un estudio revela que incluso los prompts neutrales desencadenan respuestas específicas de la región en modelos de lenguaje grandes debido a los metadatos del usuario. La filtración de ubicación aumenta hasta 793 veces en algunos modelos, y usar 'Desconocido' en lugar de los metadatos de ubicación aún causa un sesgo significativo, lo que indica que el propio marco del perfil del usuario actúa como una señal de condicionamiento.