Este estudio investiga si los modelos de lenguaje funcionan como bases de conocimiento consistentes al analizar si los hechos adquiridos durante una tarea permanecen accesibles en otras. La investigación revela que los LMs codifican el conocimiento de manera específica para la tarea, con subconjuntos distintos de parámetros subyacentes a diferentes tareas para el mismo hecho.
La arquitectura CARVE aborda tres defectos críticos en el modelo recurrente GDN-2 basado en la regla delta, al restringir las operaciones de borrado al eje de clave, permitiendo así la resolución triangular válida de chunks en forma WY y mejorando la eficiencia del valor. Al reutilizar el tensor de salida recurrente como señal de contenido y reemplazar las proyecciones de puerta de escritura por valor individual con escalares únicos, CARVE mantiene una inicialización bit a bit idéntica a GDN-2 mientras resuelve los problemas de enmascaramiento ciego de memoria.
Este artículo aborda el desafío de la selección de fuentes sin entrenamiento para modelos de lenguaje grandes con vocabularios compartidos en dominios científicos como SMILES y genómica, donde las métricas clásicas son poco informativas o computacionalmente prohibitivas. Los autores demuestran que las métricas de similitud de representación no son identificables para la transferencia porque los modelos pueden compartir representaciones idénticas pero tener actualizaciones de cabeza ortogonales.
Este artículo propone un marco diagnóstico que descompone la dificultad del lenguaje histórico en costo de tokenización, incertidumbre predictiva, robustez semántica y sensibilidad al contexto. Los autores evalúan este marco en textos italianos del siglo XVII, italiano del siglo XIX y ruso del siglo XVIII para comprender cómo los LLM procesan lenguas históricas.
Las cascadas de traducción para razonamiento traducen las consultas al inglés, realizan el razonamiento y traducen de vuelta, pero este proceso es estructuralmente con pérdidas debido a la descarte de información en cada etapa. Los autores proponen una cascada de traducción consciente del contexto que preserva la pregunta original, la consulta traducida y la traza de razonamiento para mitigar estas pérdidas.
Los investigadores proponen una taxonomía orientada a mecanismos de expresiones lingüísticas indirectas (ILE) para categorizar las operaciones subyacentes utilizadas para codificar y recuperar significado en el lenguaje codificado. Este enfoque se abstrae de los objetivos comunicativos para centrarse en los mecanismos específicos de codificación encontrados en el algospeak, los eufemismos y la ofuscación adversarial.
Este artículo presenta el primer estudio de caso que aplica Modelos de Lenguaje Grande al proceso del Banco Central Alemán para verificar la elegibilidad de valores como garantía, pasando del Reconocimiento Tradicional de Entidades Nombradas a una pipeline generativa de Extracción de Información. El enfoque descompone la tarea en extracción, normalización e interpretación para manejar el texto ruidoso y el contenido bilingüe de manera más efectiva.
Los investigadores presentan el método PEEU (Planning Experience Exploration and Utilization) para mejorar la planificación de tareas en agentes web multimodales utilizando pequeños modelos de lenguaje grande multimodales (MLLMs) de código abierto. Este enfoque explora autónomamente los entornos para descubrir experiencias y sintetiza datos de entrenamiento de alto nivel mediante la utilización de experiencias retrospectivas.
Este estudio propone un marco de análisis textual longitudinal que combina la extracción de métricas de PLN en japonés con pruebas emparejadas y análisis de funciones de cambio para evaluar cambios cualitativos en las divulgaciones de riesgos corporativos. Aplicado a las reformas de divulgación de Japón de 2019, el enfoque analiza 19.770 observaciones empresa-año durante diez años para capturar dinámicas multidimensionales que a menudo se ocultan con métodos de un solo indicador.
Los investigadores presentan una canalización modular y completamente de peso abierto para la extracción conjunta multilingüe de entidades y relaciones que construye grafos de conocimiento temporales y firmados a partir de grandes corpus de noticias no estructuradas. El sistema combina reconocimiento de entidades nombradas basado en intervalos con una cascada de vinculación a Wikidata y un modelo de mezcla de expertos restringido por ontología para extraer relaciones dirigidas.
Los autores presentan DanceOPD, un marco de destilación de campos generativos con política en línea diseñado para unificar la generación de texto a imagen con capacidades de edición local y global en modelos de emparejamiento de flujos. Este enfoque enruta las muestras a campos de capacidad específicos y entrena utilizando un objetivo de MSE de velocidad para componer habilidades expertas sin interferencia mutua.
Un usuario de Reddit busca recomendaciones de canales de YouTube que proporcionen noticias y actualizaciones sobre el desarrollo de modelos de lenguaje grandes locales.
El artículo hace referencia al modelo LiquidAI LFM2.5-230M como una alternativa para usuarios sin acceso a GPUs de centros de datos.
Ornith-1.0 es una nueva familia de modelos de lenguaje grandes (LLM) de código abierto especializados en tareas de programación agéntica. La familia de modelos abarca múltiples tamaños de parámetros, incluyendo configuraciones Dense de 9B, MoE de 35B y MoE de 397B.
NVIDIA presenta Nemotron-TwoTower, un modelo de lenguaje por difusión que desacopla la representación del contexto y el denoising iterativo en dos redes separadas para superar las limitaciones de capacidad en los enfoques existentes. Construido sobre el modelo de pesos abiertos Nemotron-3-Nano-30B-A3B y entrenado con 2.1T tokens, conserva el 98.7% de la calidad de la línea base autoregresiva mientras logra una velocidad de generación en tiempo real 2.42X mayor.
Un estudio revela que, aunque los grandes modelos de razonamiento (LRM) y los humanos dedican más tiempo a problemas más difíciles, divergen significativamente en cómo asignan la deliberación dentro de elementos específicos. Al cometer errores, los LRM generan más tokens que cuando aciertan, mientras que los humanos hacen lo contrario, dedicando menos tiempo a los ensayos que fallan.
El artículo presenta MemStrata, un sistema de memoria de recuperación diseñado para eliminar errores de hechos obsoletos en agentes de IA manteniendo la validez temporal dentro del conocimiento acumulado. A diferencia de la Generación Aumentada por Recuperación (RAG) estándar, que tiene dificultades para distinguir entre hechos duplicados y contradichos debido a la similitud de incrustaciones, MemStrata utiliza una regla determinista de suplantación para retirar información desactualizada.
Los autores proponen Atención Erase-then-Delta (EDA), una regla de actualización de memoria para modelos recurrentes que desacopla la dirección utilizada para borrar información obsoleta de la dirección utilizada para escribir nuevo contenido. Este enfoque aborda la limitación de la atención lineal basada en regla delta, que no puede eliminar activamente datos desactualizados almacenados en diferentes ubicaciones antes de escribir.
Un estudio revela que condicionar modelos de lenguaje y visión en tareas estrechas suprime su capacidad para informar sobre señales críticas para la seguridad presentes simultáneamente, las cuales pueden detectar de otro modo. Este fenómeno, denominado "brecha de inatención", demuestra una disociación entre la seguridad medida en benchmarks y la seguridad en el mundo real.
El artículo presenta DiARC, un método que mejora las capacidades de razonamiento abstracto de los modelos de lenguaje grandes al incorporar supervisión con muestras negativas junto con ejemplos positivos. Este enfoque aborda las limitaciones de los métodos actuales que dependen en gran medida del aumento de datos o de modelos cerrados costosos.