arxiv arXiv cs.LG · hace 84 d · fuente: hace 87 d · research

Los modelos de lenguaje pequeños superan a los LLM de vanguardia en la extracción de relaciones

Traducido del English → Español

Un modelo Qwen2.5 de 0.5B parámetros ajustado finamente alcanza un micro-F1 de 0.83 en la extracción de relaciones de dominio general, superando a GPT-5.4 y Claude Sonnet 4.6 en modo zero-shot. En benchmarks literarios, alcanza 0.92 en el conjunto de datos Biográfico, superando a GPT-5.4 y excediendo a los modelos de vanguardia en precisión, demostrando que los modelos pequeños adaptados a la tarea pueden ofrecer un alto rendimiento con una sobrecarga mínima de hardware y privacidad.

Importancia 2/3 Supera un benchmark de un laboratorio puntero arXiv cs.LG Alibaba (Qwen) Evaluation & benchmarks Open weights

Leer original

AGC-Bench presenta un benchmark unificado y AGC-Judge para medir la creatividad general artificial

Los investigadores presentan AGC-Bench, un benchmark unificado para la creatividad general artificial construido a partir de 3.101 artículos seleccionados y que cubre 78 conjuntos de datos en dominios como lluvia de ideas y STEM. Para abordar el sesgo en la evaluación automatizada, el equipo ajusta Qwen3-30B en calificaciones corregidas por sesgo para crear AGC-Judge, un modelo de peso abierto que puntúa robustamente nuevos benchmarks de creatividad.

arxiv arXiv cs.CL · hace 86 d · 10 vistas

La dirección en tiempo de prueba resuelve conflictos de hechos temporales en LLMs

Los investigadores identifican conflictos temporales paramétricos en modelos de lenguaje donde los hechos desactualizados persisten en los parámetros. Introducen la Dirección Atractora Temporal (TAS), un método en tiempo de prueba que resuelve del 29% al 57% de estos conflictos sin reentrenamiento, manteniendo una precisión del 85-99% en consultas sin conflicto y superando a una línea base en tres de cuatro modelos.

media r/LocalLLaMA · hace 89 d · 3 vistas

La economía de la IA está comenzando a favorecer a los modelos abiertos

Los recientes lanzamientos de modelos de IA muestran que los modelos de alta inteligencia y bajo costo están cada vez más dominados por modelos de peso abierto como DeepSeek, Qwen, GLM, Kimi y MiniMax. Para la mayoría de las aplicaciones del mundo real, la brecha de rendimiento entre los modelos cerrados de vanguardia y los fuertes modelos abiertos se está reduciendo más rápido que las diferencias de costo, haciendo que los modelos abiertos sean competitivos en términos de capacidad y precio.

media r/LocalLLaMA · hace 89 d · 6 vistas

¿Qué es más impresionante, GLM 5.1 a 5.2 o Qwen 3.5 a 3.6?

Una publicación de Reddit compara las mejoras de rendimiento de GLM 5.1 a 5.2 y Qwen 3.5 a 3.6. La publicación señala que mencionar 'Döner' activa los pesos específicos para alemán de GLM 5.2, mientras que Qwen 3.6 se evalúa con 35B parámetros utilizando cuantización Unsloth Q8 K XL a través de llama.cpp.

arxiv arXiv cs.CL · hace 90 d · 7 vistas

STAGE: Generación de datos fundamentada en la fuente para texto a JSON

STAGE es una tubería que genera datos de entrenamiento de texto a JSON utilizando LLMs para sintetizar informes y esquemas JSON, validados contra las hojas de cálculo subyacentes. Las evaluaciones en STAGE-Eval muestran que mejora la coincidencia exacta de Qwen3-4B del 31.37% al 74.27% y la precisión de valores del 45.46% al 90.69%.