Microsoft Research ha lanzado Echoverse, una colección de doce entornos sintéticos profundos diseñados para entrenar agentes de uso de computadora. La iniciativa incluye diez mundos específicos por dominio y dos mundos centrados en capacidades, todos construidos para mantener un estado coherente y fidelidad conductual.
OpenAI ha desarrollado GPT-Red, un modelo automatizado de pruebas de penetración en seguridad entrenado mediante aprendizaje por refuerzo de auto-juego para descubrir vulnerabilidades y generar datos adversariales que mejoren los modelos futuros.
Microsoft Research ha presentado EvoLib, un marco que permite a los modelos de lenguaje grandes aprender de su propia experiencia durante la inferencia sin necesidad de etiquetas de verdad fundamental ni retroalimentación externa. En lugar de almacenar experiencias crudas como memorias estáticas, EvoLib las transforma en habilidades reutilizables e insights reflexivos que se refinan, consolidan y reponderan continuamente.
DharmaOCR logra mayor calidad y estabilidad en la extracción que Mistral OCR4 y Unlimited-OCR en portugués de Brasil gracias al entrenamiento específico del dominio.
Los investigadores proponen la Auto-Distilación No Supervisada en Política (U-OPSD), un método que logra una mejora post-entrenamiento para modelos de lenguaje grandes utilizando únicamente las propias generaciones del modelo sin supervisión externa. El enfoque muestrea múltiples trayectorias para construir una pseudo-solución mediante votación mayoritaria, luego destila una distribución docente en los prefijos de la finalización incorrecta más larga del modelo.
Apple ha presentado una nueva arquitectura para sus modelos base de tercera generación (AFM3) que utiliza "Poda de Seguimiento de Instrucciones" para reducir significativamente el conteo de parámetros activos. El modelo está diseñado para activar aproximadamente el 20% de sus capas MLP tomando decisiones de enrutamiento una vez por prompt en lugar de por token.
El equipo de NeMo de NVIDIA ha lanzado Molt, un framework de aprendizaje por refuerzo agéntico de código abierto diseñado para reducir la complejidad de la iteración de algoritmos para investigadores. La base de código tiene aproximadamente 8.6K líneas de código RL, significativamente menor que frameworks comparables como verl (62K líneas) y slime (25K líneas).
El autor propone la hipótesis de que las trazas de agentes que utilizan herramientas y fallan, como selecciones incorrectas de herramientas o argumentos malformados, pueden servir como valiosos datos de ajuste fino para entrenar modelos a alejarse de estos errores. La publicación busca retroalimentación de la comunidad sobre si el entrenamiento con trazas de fallo corregidas es efectivo o perjudicial.
La Arquitectura PIN v2 introduce un método para pre-seleccionar el tamaño y la velocidad de inferencia de una red neuronal antes del entrenamiento mediante la vinculación de pesos. Esta técnica obliga a grupos de celdas a mantener valores idénticos, permitiendo que la red mantenga su ancho mientras reduce drásticamente el número de pesos almacenados.
Huawei ha publicado los pesos de código abierto para openPangu-2.0-Pro, un modelo de lenguaje grande (LLM) de Mezcla de Expertos (MoE) entrenado en hardware Ascend. El modelo cuenta con 505 mil millones de parámetros totales y 18 mil millones de parámetros activados, y admite una longitud de contexto de 512k tokens.
Los investigadores presentan Memory Decoder at Scale, un sistema que escala los modelos de memoria paramétrica a largo plazo hasta 6.9B de parámetros y los preentrena con 300B de tokens. Para abordar la inviabilidad de las tuberías estándar de Faiss a esta escala de datos, los autores implementan una tubería de indexación distribuida con carga dispersa y por lotes de distribuciones kNN.
Los investigadores introducen Relay On-Policy Distillation (Relay-OPD) para abordar el fallo de prefijo en la destilación on-policy estándar, donde los errores del estudiante conducen a una supervisión poco fiable. El método utiliza una asimetría de continuación maestro-estudiante como disparador para que el maestro tome brevemente el control y redirija la trayectoria antes de que el estudiante retome.
Google ahora ofrece un servicio de destilación para sus modelos Gemini. Esto permite a los usuarios comprimir las capacidades de los modelos Gemini más grandes en versiones más pequeñas y eficientes a través de la plataforma Google Cloud.
OpenForgeRL es un marco de código abierto que permite a los investigadores entrenar agentes de IA basados en arneses de extremo a extremo utilizando pilas estándar de aprendizaje por refuerzo. Desacopla el entrenamiento de la inferencia mediante el uso de un proxy ligero para registrar las llamadas del modelo como datos y un orquestador de Kubernetes para gestionar las ejecuciones en contenedores remotos.
CrowdTensor es un protocolo de código abierto con licencia Apache-2.0 para campañas de entrenamiento de modelos por voluntarios con puntos de control, que fija revisiones inmutables del modelo y los datos para asignar trabajo acotado a las celdas CPU, GPU o TPU admitidas. El proyecto ha publicado un proceso de inscripción en Beta junto con un borrador de RFC para una campaña Qwen2.5-7B GSM8K.
Se ha publicado una vista previa de investigación de ThetaScan v0.1, un mezclador de tokens no lineal de estado fijo, como implementación de código abierto. La arquitectura garantiza que cada token calcule su escritura de memoria a partir de la entrada actual y los parámetros compartidos en lugar de un estado rápido en evolución, permitiendo que las escrituras se compongan mediante un escaneo de prefijo asociativo.
Los investigadores presentan OpenForgeRL, un marco de código abierto que permite el entrenamiento de extremo a extremo de agentes de IA utilizando arneses de inferencia complejos como Claude Code y OpenClaw. El sistema desacopla el entrenamiento de la inferencia mediante un proxy ligero para registrar las llamadas del modelo como datos y un orquestador de Kubernetes para gestionar los despliegues remotos de contenedores.
OpenForgeRL es un marco de código abierto que permite a los investigadores entrenar agentes de IA basados en arneses de extremo a extremo utilizando pilas estándar de aprendizaje por refuerzo. Logra esto desacoplando el entrenamiento de la inferencia mediante un proxy ligero que registra las llamadas del modelo como datos y un orquestador de Kubernetes que gestiona el despliegue remoto de contenedores.
Un usuario del foro de Hugging Face investiga si los modelos de lenguaje grandes (LLMs) pequeños y específicos del dominio, en el rango de 7B a 14B parámetros, pueden reemplazar eficazmente a modelos más grandes en entornos de producción reales.
Una nueva implementación del chatbot ELIZA utiliza una arquitectura de autoencoder disperso para almacenar entradas de conversación en una capa de memoria latente, con el objetivo de mejorar los métodos tradicionales de coincidencia de palabras clave. El sistema emplea una estructura codificador-decodificador T5 con una capa de memoria de 32,768 neuronas, donde las entradas similares se activan mediante aprendizaje contrastivo.