arxiv Moonshot AI (arXiv) · hace 466 d

Microsoft lanza Phi-4-Mini-Reasoning, un modelo de 3.8B que supera a modelos de razonamiento más grandes

Traducido del English → Español

Microsoft ha presentado Phi-4-Mini-Reasoning, un modelo compacto de 3.800 millones de parámetros que logra un rendimiento superior en razonamiento matemático en comparación con competidores significativamente más grandes mediante una receta de entrenamiento sistemática de cuatro pasos.

La metodología implica entrenamiento intermedio a gran escala en datos de cadena de pensamiento larga distilada, ajuste fino supervisado, Rollout DPO utilizando conjuntos de preferencia curados y aprendizaje por refuerzo con recompensas verificables.

En la prueba Math-500, Phi-4-Mini-Reasoning supera a DeepSeek-R1-Distill-Qwen-7B por 3,2 puntos y a DeepSeek-R1-Distill-Llama-8B por 7,7 puntos.

Los resultados validan que una receta de entrenamiento cuidadosamente diseñada con datos de cadena de pensamiento de alta calidad puede desbloquear fuertes capacidades de razonamiento en modelos de lenguaje pequeños con recursos limitados.

Importancia 1/3 Moonshot AI (arXiv) Microsoft Research Research paper Training methods

Benchmarks

Benchmark	Modelo	Puntuación
MATH-500	Llama-8B	89.1%
MATH-500	Qwen-1.5B	83.9%
MATH-500	Phi-4-Mini-Reasoning	3.2%

Leer original

MGUP: Alineación de Gradiente-Momento para Optimización Selectiva

MGUP introduce un mecanismo de actualización selectiva que aplica tamaños de paso más grandes a una proporción fija de parámetros en la optimización estocástica, mientras usa tamaños de paso más pequeños y no nulos para el resto. Se integra sin problemas con optimizadores como AdamW, Lion y Muon, proporcionando garantías teóricas de convergencia para MGUP-AdamW y demostrando un rendimiento superior o más estable en el entrenamiento de modelos de lenguaje grandes y tareas de preentrenamiento MAE.

arxiv Moonshot AI (arXiv) · hace 605 d

Microsoft publica el informe técnico de Phi-4 sobre el modelo de 14B que utiliza datos sintéticos

Microsoft ha publicado el informe técnico de Phi-4, un modelo de lenguaje de 14 mil millones de parámetros que prioriza la calidad de los datos mediante el uso estratégico de datos sintéticos durante todo el entrenamiento. A diferencia de los modelos Phi anteriores que destilaban capacidades de GPT-4, Phi-4 supera a su maestro en tareas de QA centradas en STEM, demostrando que sus técnicas de generación de datos y post-entrenamiento van más allá de la simple destilación.

arxiv arXiv cs.LG · hace 2 d

U-OPSD permite la auto-distilación no supervisada en política para LLM

Los investigadores proponen la Auto-Distilación No Supervisada en Política (U-OPSD), un método que logra una mejora post-entrenamiento para modelos de lenguaje grandes utilizando únicamente las propias generaciones del modelo sin supervisión externa. El enfoque muestrea múltiples trayectorias para construir una pseudo-solución mediante votación mayoritaria, luego destila una distribución docente en los prefijos de la finalización incorrecta más larga del modelo.

media MarkTechPost · hace 3 d

SkillOpt de Microsoft permite la transferencia de habilidades entre Codex y Claude Code

Investigadores de Microsoft, la Universidad Jiao Tong de Shanghái, la Universidad Tongji y la Universidad Fudan desarrollaron SkillOpt, un optimizador en el espacio de texto que entrena documentos de habilidades en lenguaje natural mientras mantiene congelado el modelo objetivo. El sistema utiliza un modelo optimizador para proponer ediciones acotadas basadas en rollouts evaluados, exportando el resultado como un único archivo `best_skill.md`.

arxiv arXiv cs.CL · hace 9 d · 2 vistas

Memory Decoder a gran escala: Escalar la memoria paramétrica a largo plazo hasta 6.9B de parámetros

Los investigadores presentan Memory Decoder at Scale, un sistema que escala los modelos de memoria paramétrica a largo plazo hasta 6.9B de parámetros y los preentrena con 300B de tokens. Para abordar la inviabilidad de las tuberías estándar de Faiss a esta escala de datos, los autores implementan una tubería de indexación distribuida con carga dispersa y por lotes de distribuciones kNN.