media r/LocalLLaMA · hace 1 h · open_models

Microsoft confirma que OpenAI usa Transformers cíclicos en GPT-6

Traducido del English → Español

Una página web de Microsoft confirmó que OpenAI ha estado usando Transformers cíclicos (Looped Transformers) en la serie GPT-6, validando informes previos de The Information. La documentación indicaba que GPT-6.1 Sol utiliza dos pasadas de inferencia, una reducción de tres.

El artículo señala que GPT-6 y GPT-6.1 comparten los mismos pesos del modelo base preentrenado pero difieren en el entrenamiento posterior, con GPT-6.1 empleando un ciclo menos.

Microsoft posteriormente actualizó la página web para eliminar esta información.

Importancia 2/3 r/LocalLLaMA Microsoft Research OpenAI Research paper

Leer original

MGUP: Alineación de Gradiente-Momento para Optimización Selectiva

MGUP introduce un mecanismo de actualización selectiva que aplica tamaños de paso más grandes a una proporción fija de parámetros en la optimización estocástica, mientras usa tamaños de paso más pequeños y no nulos para el resto. Se integra sin problemas con optimizadores como AdamW, Lion y Muon, proporcionando garantías teóricas de convergencia para MGUP-AdamW y demostrando un rendimiento superior o más estable en el entrenamiento de modelos de lenguaje grandes y tareas de preentrenamiento MAE.

lab Microsoft Research Blog · hace 15 d · 97 vistas

Microsoft lanza RetroChimera para la predicción de retrosíntesis

Microsoft Research ha publicado y liberado como código abierto RetroChimera, un nuevo marco de trabajo para la predicción de retrosíntesis que combina dos modelos complementarios para proponer rutas de síntesis de alta calidad. El sistema integra R-SMILES 2, un modelo de-novo basado en Transformer, con NeuralLoc, un modelo basado en redes neuronales gráficas (GNN), utilizando una estrategia de ensamble aprendida para clasificar las predicciones.

arxiv arXiv cs.LG · hace 20 d · 48 vistas

OpenAI lanza Open-1B con un entrenamiento completamente auditable

OpenAI ha lanzado Open-1B, un modelo de lenguaje entrenado bajo un régimen donde cada operación durante el entrenamiento es reproducible de forma independiente en hardware comercial heterogéneo con certeza a nivel de bits. Este enfoque aborda los problemas de reproducibilidad inherentes a los modelos de código abierto al imponer un orden definido sobre las fuentes de no determinismo, como las reducciones de kernels de GPU y el ordenamiento de lotes de datos.

media Latent Space · hace 27 d · 56 vistas

OpenAI afirma que un resultado sobre singularidad de Navier-Stokes asistido por IA se logró con 10.000 agentes

Cuentas afiliadas a OpenAI informaron que un esfuerzo asistido por IA produjo un resultado relacionado con el problema de existencia y regularidad de Navier-Stokes, uno de los Problemas del Milenio. La afirmación establece que aproximadamente 10.000 agentes colaboraron en la tarea después de ser entrenados durante aproximadamente un año utilizando aprendizaje por refuerzo multiagente.

lab OpenAI News · hace 28 d · 66 vistas

El sistema interno de OpenAI demuestra que las ecuaciones de Navier-Stokes pueden desarrollar singularidades en tiempo finito

OpenAI informa que un sistema de IA interno ha producido una prueba que muestra que la dinámica de las ecuaciones de Navier-Stokes para el movimiento de fluidos puede desarrollar una singularidad en tiempo finito. La solución, derivada por un sistema multiagente impulsado por un modelo significativamente más capaz que GPT-6 Astra, establece la afirmación "C" de la formulación del Premio Millennium.