media r/LocalLLaMA · hace 9 h

Actualización: Primeros resultados manuales de pruebas sobre la transferencia de habilidades procedimentales en modelos pequeños

Un experimento manual evaluó si un andamio procedural generado por un modelo grande puede transferir disciplina de planificación a modelos más pequeños sin ajuste fino ni revelación de la respuesta objetivo. Los resultados indican que este enfoque mejora significativamente la legibilidad estructural y la composición en modelos pequeños cuando se aplica en diferentes dominios de Three.js.

arxiv arXiv cs.CL · hace 9 h

El enfoque del desarrollo revela el aprendizaje estadístico de los Modelos de Lenguaje Neuronales: los Transformers generalizan a partir de los patrones estadísticos más abstractos

Este estudio investiga el aprendizaje estadístico y la representación mental de los modelos de lenguaje neuronales mediante el entrenamiento de modelos Transformer generativos en una gramática sintética y el análisis de sus representaciones internas en diversas etapas.

arxiv arXiv cs.CL · hace 9 h

Supersede: Diagnosticar y entrenar la brecha de actualización de memoria en agentes LLM

Este artículo identifica un modo de fallo distinto en agentes de modelos de lenguaje grandes donde tienen dificultades para descartar hechos obsoletos en favor de los actuales, incluso cuando la comprensión está intacta. Los autores demuestran que esta "brecha de supresión" persiste a través de las escalas del modelo y los tamaños de memoria, lo que indica que es un cuello de botella entrenable en lugar de una limitación de la ventana de contexto o la fuerza del modelo.

github llama.cpp · hace 9 h

Lanzamiento de llama.cpp b9838: Compilaciones para macOS, Linux, Windows y Android

El proyecto llama.cpp ha lanzado la versión b9838, proporcionando binarios precompilados para una amplia gama de sistemas operativos y aceleradores de hardware. Esta versión incluye soporte para CPU, GPU (CUDA, Vulkan, ROCm, OpenCL) y aceleradores de IA especializados en macOS, Linux, Windows, Android y openEuler.

arxiv arXiv cs.CL · hace 10 h

Aloe-Vision: Modelos robustos de visión y lenguaje para atención médica

Este trabajo presenta Aloe-Vision, una familia de modelos grandes de visión y lenguaje de código abierto (7B y 72B) entrenados en el recién lanzado conjunto de datos Aloe-Vision-Data para abordar la escasez de datos y los problemas de robustez en la IA para atención médica. Los autores demuestran que su mezcla de entrenamiento de alta calidad produce ganancias significativas de rendimiento sobre las líneas base mientras mantiene capacidades generales.

arxiv arXiv cs.CL · hace 10 h

La maldición de los múltiples mediadores: Efectos de interacción ocultos en el parcheo de activaciones

Una nueva derivación del estimador de parcheo de activaciones desde el análisis de mediación causal revela que el efecto indirecto natural (NIE) captura no solo el efecto causal a través de un componente específico, sino también efectos de interacción (INT). Estos términos INT miden cuánto depende el efecto causal de un componente del estado de otros componentes en el modelo, desafiando la suposición de que el NIE aísla las contribuciones individuales.

arxiv arXiv cs.CL · hace 10 h

El Transformer listo para contexto

Los autores presentan el transformer listo para contexto, una arquitectura de red neuronal recurrente que pre-contextualiza cada token antes de que ingrese a un bloque de transformer D-layer utilizando una red de corrección.

arxiv arXiv cs.CL · hace 10 h

EntMTP: Acelerando la inferencia de LLM con Predicción Multi-Token Guiada por Entropía

Los autores proponen la Predicción Multi-Token Guiada por Entropía (EntMTP), un programador sin entrenamiento que ajusta dinámicamente la profundidad de especulación durante la inferencia de LLM basándose en la entropía local de generación. Este enfoque aborda la ineficiencia de las topologías estáticas de atención basada en árboles al igualar los requisitos de cómputo con la predecibilidad del contexto.

arxiv arXiv cs.CL · hace 10 h

Ko-WideSearch: Una prueba de referencia de búsqueda amplia en coreano para la enumeración exhaustiva de conjuntos por agentes web

El artículo presenta Ko-WideSearch, una nueva prueba de referencia diseñada para evaluar las capacidades de búsqueda amplia de los agentes web en coreano, abordando la falta de métricas de enumeración exhaustiva de conjuntos fuera del inglés.

arxiv arXiv cs.CL · hace 10 h

Narrative-UFET: Generación de narrativas para la tipificación ultra-fina de entidades

Los autores presentan Narrative-UFET, una extensión controlada de la tipificación ultra-fina de entidades que empareja menciones de entidades con narrativas cortas generadas automáticamente para abordar limitaciones en la desambiguación de tipos de cola larga. El estudio demuestra que el contexto narrativo produce mejoras consistentes sobre las líneas base a nivel de oración, particularmente cuando el tipo de la entidad cambia dentro del texto.

arxiv arXiv cs.CL · hace 10 h

Modelos de Flujo de Lenguaje Enmascarado

Los autores presentan los Modelos de Flujo de Lenguaje Enmascarado (MLFMs), que combinan la difusión enmascarada con flujos continuos para permitir un razonamiento eficiente y multi-paso en la generación de lenguaje. Este enfoque cierra la brecha entre la eficiencia de la generación paralela y el rendimiento en tareas complejas al permitir que los modelos preentrenados se adapten a MLFMs.

arxiv arXiv cs.CL · hace 10 h

DysLexLens: Un marco de LLM de bajo recurso para analizar las perspectivas de estudiantes con dislexia a partir de foros en línea

Este artículo presenta DysLexLens, un marco de LLM de bajo recurso diseñado para analizar las experiencias de estudiantes con dislexia al utilizar herramientas de IA a través de discusiones en foros en línea. El sistema proporciona una arquitectura integral y rastreable en cuanto a evidencia que transforma publicaciones ruidosas de redes sociales en corpus enfocados y genera respuestas verificables a consultas.

arxiv arXiv cs.CL · hace 10 h

Detección de comentarios ofensivos chinos entre plataformas mediante minería de ejemplos difíciles con umbral dual

Este artículo aborda la degradación del rendimiento de los modelos de detección de comentarios ofensivos cuando se implementan en diferentes plataformas de redes sociales chinas, proponiendo un método de minería de ejemplos difíciles con umbral dual.

media Hugging Face Forums · hace 10 h

La Arquitectura de Contexto Generacional: Resolviendo la Rotación del Contexto en LLM

La Arquitectura de Contexto Generacional (GCA) propone tratar la ventana de contexto de un LLM como una vida útil finita en lugar de almacenamiento infinito para resolver la "rotación del contexto" y la dilución de la atención en sistemas multi-agente. Al imponer mortalidad artificial, los agentes se terminan antes de que su rendimiento se degrade, pasando su estado a nuevas generaciones mediante un almacén de archivos Markdown plano.

arxiv arXiv cs.CL · hace 11 h

Yuvion LLM: Un modelo de lenguaje grande consciente de la adversarialidad para la seguridad del contenido y la IA

El Yuvion LLM es un nuevo modelo de lenguaje grande diseñado para abordar fallos de seguridad al tratar la robustez adversarial y la capacidad agéntica como objetivos primarios. Utiliza una tubería que combina la construcción de datos consciente de la adversarialidad, el preentrenamiento continuo mejorado con conocimiento y el post-entrenamiento de seguridad multi-tarea basado en políticas.

arxiv arXiv cs.CL · hace 11 h

DiscoBench: Un benchmark para la búsqueda profunda consciente de la aclaración

Los autores presentan DiscoBench, un benchmark diseñado para evaluar si los agentes de búsqueda impulsados por modelos de lenguaje grandes pueden identificar proactivamente la ambigüedad y formular preguntas de aclaración efectivas durante tareas de búsqueda profunda. A diferencia de los benchmarks existentes que asumen consultas de usuario completas, este marco aborda la realidad de las solicitudes vagas o insuficientemente especificadas en escenarios del mundo real.

arxiv arXiv cs.CL · hace 11 h

Estudio factorizado de la estimación de incertidumbre basada en sondas en LLMs

Este estudio realiza un análisis factorizado de la estimación de incertidumbre basada en sondas para determinar qué impulsa el rendimiento en la detección de alucinaciones dentro de los Modelos de Lenguaje Grande. La investigación aísla variables en el diseño de características, datos de entrenamiento y configuraciones de evaluación para proporcionar claras perspectivas sobre metodologías efectivas.

arxiv arXiv cs.CL · hace 11 h

Estados de creencia textual para modelos del mundo: Aprendizaje de representaciones identificables bajo mediación estricta

Este artículo aborda el problema de los estados latentes no identificables en modelos del mundo basados en LLM causados por la omisión del historial, proponiendo una mediación estricta de estados latentes para resolverlo. Los autores introducen estados latentes textuales y GRPO factorizado (fGRPO), un método de aprendizaje por refuerzo estructurado en árbol que impone una mediación estricta durante el entrenamiento.

media Hugging Face Forums · hace 11 h

El análisis de la dinámica del estado oculto en 7 LLMs de peso abierto revela patrones funcionales recurrentes

Un investigador independiente analizó la evolución de las representaciones ocultas durante la inferencia en siete modelos de peso abierto, incluyendo GPT-2, OPT-125M y Llama-3.2-1B, para identificar regímenes dinámicos internos más allá de los benchmarks de salida estándar.

media Hugging Face Forums · hace 11 h

Explorando regímenes funcionales dentro de modelos de lenguaje pequeños

Este proyecto de investigación independiente caracteriza la dinámica interna de siete modelos de lenguaje pequeños y medianos analizando cómo evolucionan las representaciones ocultas durante la inferencia, en lugar de depender de los estándares de evaluación de salida. El estudio investiga el comportamiento dinámico, la organización funcional y la geometría de las representaciones para identificar patrones reproducibles a través de diferentes arquitecturas.