arxiv arXiv cs.CL · hace 1 h · research

MiLMMT-46-v1.0 mejora la traducción multilingüe mediante postentrenamiento sin referencia

Traducido del English → Español

Los investigadores han lanzado MiLMMT-46-v1.0, un modelo de lenguaje grande de código abierto para traducción automática multilingüe que utiliza postentrenamiento sin referencia. Partiendo del MiLMMT-46-v0.1 ajustado por supervisión, el equipo aplicó la Optimización de Política Relativa por Grupos (GRPO) con una recompensa basada en dos modelos de estimación de calidad sin referencia controlados por identificación de idioma.

El modelo final se obtiene interpolando linealmente los puntos de control del ajuste fino supervisado y del aprendizaje por refuerzo.
En 46 idiomas, MiLMMT-46-v1.0 mejora consistentemente la calidad de la traducción en comparación con su contraparte SFT.
Supera a las bases abiertas sólidas, incluyendo Seed-X, HY-MT2 y TranslateGemma.
El modelo alcanza puntuaciones líderes sin referencia frente a sistemas propietarios como Google Translate, Gemini 3 Pro y GPT-5.
Se investigó la destilación on-policy, pero no superó la frontera de calidad lograda por el aprendizaje por refuerzo con interpolación de puntos de control.

Los autores publican los modelos y el código para facilitar futuras investigaciones en este área.

Importancia 2/3 arXiv cs.CL 01.AI Tencent Research paper Training methods

Artículos relacionados

lab NVIDIA Research · hace 17 h · 2 vistas

Masters destila modelos de visión y lenguaje mediante enmascaramiento del maestro y refuerzo del estudiante

Los investigadores proponen Masters, un marco de aprendizaje por refuerzo progresivo con enmascaramiento para destilar modelos grandes de visión y lenguaje en versiones compactas adecuadas para implementación en dispositivos periféricos. El método aborda la inestabilidad causada por la brecha de tamaño entre los modelos maestro y estudiante.

lab NVIDIA Research · hace 17 h

ZPPO utiliza prompts en lugar de gradientes para mejorar el entrenamiento de modelos visiolingüísticos pequeños

Los investigadores presentan la Optimización de Política en la Zona Próxima (ZPPO), un método que inyecta conocimiento del maestro en los prompts en lugar de en los gradientes de la política para abordar la fragilidad en la destilación de conocimiento y la deriva en el aprendizaje por refuerzo. ZPPO construye Preguntas con Candidato Binario Incluido (BCQ) y Preguntas con Candidato Negativo Incluido (NCQ) para preguntas difíciles, recirculándolas a través de un búfer de repetición hasta que la precisión del estudiante mejore o sean expulsadas.

arxiv arXiv cs.LG · hace 5 d

U-OPSD permite la auto-distilación no supervisada en política para LLM

Los investigadores proponen la Auto-Distilación No Supervisada en Política (U-OPSD), un método que logra una mejora post-entrenamiento para modelos de lenguaje grandes utilizando únicamente las propias generaciones del modelo sin supervisión externa. El enfoque muestrea múltiples trayectorias para construir una pseudo-solución mediante votación mayoritaria, luego destila una distribución docente en los prefijos de la finalización incorrecta más larga del modelo.

arxiv arXiv cs.CL · hace 12 d · 3 vistas

Memory Decoder a gran escala: Escalar la memoria paramétrica a largo plazo hasta 6.9B de parámetros

Los investigadores presentan Memory Decoder at Scale, un sistema que escala los modelos de memoria paramétrica a largo plazo hasta 6.9B de parámetros y los preentrena con 300B de tokens. Para abordar la inviabilidad de las tuberías estándar de Faiss a esta escala de datos, los autores implementan una tubería de indexación distribuida con carga dispersa y por lotes de distribuciones kNN.

arxiv arXiv cs.CL · hace 14 d

Relay-OPD reduce la longitud de la trayectoria de entrenamiento en más del 50% en la destilación on-policy

Los investigadores introducen Relay On-Policy Distillation (Relay-OPD) para abordar el fallo de prefijo en la destilación on-policy estándar, donde los errores del estudiante conducen a una supervisión poco fiable. El método utiliza una asimetría de continuación maestro-estudiante como disparador para que el maestro tome brevemente el control y redirija la trayectoria antes de que el estudiante retome.