SplitMoE es una arquitectura alternativa de Mezcla de Expertos que descompone las capas de alimentación hacia adelante anchas en subcomponentes más pequeños y especializados para mejorar la flexibilidad de representación de tokens y la modularidad computacional.
El Generador de Estado del Mundo (WSG) es un modelo que mantiene los planes de agentes lingüísticos alineados con las reglas de su entorno de ejecución reescribiendo estados tras fracasos. Se entrena con 226K trayectorias extraídas de siete dominios sintéticos donde un programa aplica reglas y verifica la alcanzabilidad del objetivo.
Los autores presentan Fathom-Vaidya, un modelo de 30B parámetros que utiliza datos sintéticos y aprendizaje por refuerzo basado en rúbricas para mejorar el razonamiento diagnóstico y clínico en atención médica. El marco de entrenamiento primero aplica RL guiado por reglas a preguntas derivadas de MedBullets para el diagnóstico, luego utiliza 5.3k escenarios sintéticos multi-turno con rúbricas multidimensionales para tareas clínicas interactivas.
Jen Wei encontró una espiral de muerte de la tasa de aprendizaje al probar AdamW, Muon y la última implementación de Dion3 dentro de OLMo-core para una próxima charla en la Conferencia PyTorch.
Los autores presentan Fathom-Vaidya, un modelo de 30B parámetros que utiliza datos sintéticos y aprendizaje por refuerzo basado en rúbricas para mejorar tanto el razonamiento diagnóstico como el clínico en atención médica. El marco de entrenamiento primero se centra en la precisión diagnóstica utilizando preguntas derivadas de MedBullets y luego aborda interacciones clínicas multironda a través de 5.3k escenarios generados con rúbricas multidimensionales.
Los autores presentan Fathom-Vaidya, un modelo de 30B parámetros que utiliza datos sintéticos y aprendizaje por refuerzo basado en rúbricas para mejorar tanto el razonamiento diagnóstico como el clínico en el ámbito sanitario.
TypeSafe AI ha lanzado Jev, una nueva clase de modelos "System One" diseñados para entornos de producción. El CEO de la empresa y coautor del artículo sobre InstructGPT, Diogo Almeida, argumenta que los modelos de vanguardia actuales han priorizado la alineación y las negaciones sobre la fiabilidad, lo que ha provocado problemas como alucinaciones y sycophancy.
MB-Bidram ha lanzado una arquitectura neuronal experimental llamada WideNDepth (WND) diseñada para separar las capacidades de razonamiento del almacenamiento de conocimientos. El modelo consta de una "parte ancha" que funciona como memoria y una "parte profunda" que actúa como el razonador.
Una propuesta en Hugging Face discute dos problemas interconectados en la IA: la dependencia del entrenamiento de modelos grandes separados y la dependencia del ecosistema de GPUs de propósito general.
Un usuario en los foros de Hugging Face propone un experimento de transferencia progresiva de conocimiento, donde un modelo estudiante de tamaño fijo (Qwen 4B) aprende secuencialmente de maestros cada vez más grandes en lugar de hacerlo directamente desde el más grande disponible.
OpenAI ha introducido un nuevo marco para rastrear, investigar y divulgar la desalineación en sus modelos, acompañado de seis informes detallados de incidentes procedentes del entrenamiento por aprendizaje por refuerzo. El sistema establece criterios y plazos específicos para la divulgación pública, aplicándose incluso cuando el comportamiento no está completamente explicado o mitigado.
Los investigadores de ByteLex construyeron un espacio de coordenadas a partir de 11 vocabularios de tokenizadores para predecir en qué palabras inventadas fallaría su modelo de lenguaje a nivel de bytes. El mapa logró una correlación de Spearman de -0.98 con la precisión por palabra medida del modelo, superando las estadísticas derivadas del corpus.
OpenAI ha lanzado Open-1B, un modelo de lenguaje entrenado bajo un régimen donde cada operación durante el entrenamiento es reproducible de forma independiente en hardware comercial heterogéneo con certeza a nivel de bits. Este enfoque aborda los problemas de reproducibilidad inherentes a los modelos de código abierto al imponer un orden definido sobre las fuentes de no determinismo, como las reducciones de kernels de GPU y el ordenamiento de lotes de datos.
TRL v1.14 introduce soporte para LoRA en AsyncGRPOTrainer, permitiendo entrenar un adaptador de Low-Rank Adaptation y sincronizar únicamente ese pequeño archivo con los trabajadores de inferencia de vLLM. Esta arquitectura desacopla los trabajos de entrenamiento y generación en máquinas separadas mediante el uso de un Storage Bucket compartido como puente de sistema de archivos, eliminando la necesidad de NCCL o comunicación directa de red entre nodos.
El usuario pop123-ux ha publicado un repositorio de aprendizaje que contiene 38 cuadernos ejecutables diseñados para ayudar a los usuarios a comprender la pila de Hugging Face eliminando progresivamente las abstracciones de alto nivel. La colección cubre un camino desde componentes centrales como transformers y tokenizers hasta el ajuste fino, PEFT, razonamiento/RL y trabajo en proyectos de extremo a extremo.
Together AI ha ampliado su servicio de ajuste fino para admitir una gama más amplia de modelos de peso abierto, incluidos GLM-5.3 y Kimi K2.7, mientras introduce seguimiento de experimentos en tiempo real y controles más finos sobre el proceso de entrenamiento.
Investigadores de Google y varias universidades japonesas han presentado ToolGrad, un marco que invierte la tubería tradicional para generar conjuntos de datos de uso de herramientas, construyendo primero cadenas de API verificadas y luego escribiendo consultas de usuario coincidentes. Este enfoque busca eliminar la ineficiencia de los métodos basados en consultas previas que a menudo fallan durante la exploración del agente.
Los investigadores presentan ExecCritic, un marco que combina una estructura de verificar-revisar-corregir con aprendizaje por refuerzo específico por rol para potenciar agentes de codificación. El sistema separa la construcción de pruebas de la reparación del código fuente, utilizando un agente de Pruebas para generar pruebas nativas del repositorio y un agente de Reparación para revisar el código basándose en retroalimentación de ejecución.
memaudit es una herramienta que se integra con la biblioteca TRL para verificar si el ajuste fino de modelos con datos privados ha provocado memorización. Funciona inyectando secretos señuelo calibrados en el conjunto de datos y monitoreando la pérdida durante el proceso de entrenamiento.
Una demostración muestra que congelar los estados de clave-valor (KV) de un texto guía permite a un modelo Qwen2.5-3B-Instruct aplicar nuevas instrucciones sin incluir la guía en el prompt activo. El método implica ejecutar una vez el texto guía a través del modelo, congelar su caché KV y luego generar respuestas sobre ese prefijo oculto.