media Hugging Face Forums · hace 1 h · open_models

AbstractPhil lanza Beatrix V3, un modelo de nivel de byte con 376M y memoria splat

Traducido del English → Español

AbstractPhil ha lanzado Beatrix V3, un modelo de lenguaje a nivel de byte de 376 millones de parámetros que utiliza "memoria splat" en cada bloque de atención. El modelo cuenta con un vocabulario de 256 y una ventana de contexto de 4.096 bytes, entrenado con 64.4 mil millones de bytes en dos tarjetas RTX 5090.

La arquitectura logra 0.9861 bits por byte en texto web retenido sin picos de pérdida.
Incluye adaptadores desmontables de 13.7 millones de parámetros después de cada bloque para manejar etapas específicas del currículo.
El modelo demuestra fuertes capacidades de codificación de texto, igualando el rendimiento de T5 en sus bloques medios.
La memoria splat muestra limitaciones en la recuperación a larga distancia en comparación con los controles softmax, lo que impulsa planes para un enfoque híbrido.

El lanzamiento incluye los pesos del modelo y documentación técnica, invitando a comentarios sobre mejoras arquitectónicas como mecanismos de atención híbrida y módulos de memoria olvidadiza.

Importancia 1/3 Confianza 1/3 Hugging Face Forums Hugging Face Research paper Training methods

Artículos relacionados

arxiv arXiv cs.AI · hace 22 h · 1 vista

La destilación de potencia on-policy afina el razonamiento de los modelos de lenguaje sin búsqueda

Los investigadores presentan la Destilación de Potencia On-Policy (OPPD), un método que entrena a los modelos para generar respuestas de alta calidad en un solo pase imitando la distribución de probabilidad afilada de un modelo maestro. Este enfoque elimina la necesidad de un muestreo extenso de candidatos durante la inferencia, mientras aumenta significativamente el rendimiento en benchmarks matemáticos y de codificación.

arxiv arXiv cs.LG · hace 1 d · 1 vista

La destilación de potencia on-policy afina el razonamiento sin búsqueda

Los investigadores presentan la Destilación de Potencia On-Policy (OPPD), un método que entrena modelos de lenguaje para generar respuestas de alta calidad en un solo pase imitando la distribución de probabilidad afilada de un modelo maestro. Este enfoque elimina la necesidad de un muestreo extensivo de candidatos durante la inferencia, mientras mejora significativamente el rendimiento en tareas de razonamiento.

media r/LocalLLaMA · hace 4 d · 29 vistas

Hugging Face publica una guía para el entrenamiento de RL con múltiples marcos

Lewis del equipo de post-entrenamiento de Hugging Face ha publicado una guía completa sobre el entrenamiento de modelos abiertos utilizando diferentes marcos de codificación. El artículo detalla cómo el equipo resolvió este desafío aprovechando bibliotecas de código abierto como TRL y el marco Harbor para entornos de aprendizaje por refuerzo.

arxiv arXiv cs.LG · hace 15 d · 40 vistas

Fathom-Vaidya mejora el razonamiento médico con recompensas basadas en rúbricas

Los autores presentan Fathom-Vaidya, un modelo de 30B parámetros que utiliza datos sintéticos y aprendizaje por refuerzo basado en rúbricas para mejorar el razonamiento diagnóstico y clínico en atención médica. El marco de entrenamiento primero aplica RL guiado por reglas a preguntas derivadas de MedBullets para el diagnóstico, luego utiliza 5.3k escenarios sintéticos multi-turno con rúbricas multidimensionales para tareas clínicas interactivas.

arxiv arXiv cs.AI · hace 15 d · 41 vistas

Fathom-Vaidya mejora el razonamiento médico con recompensas basadas en rúbricas

Los autores presentan Fathom-Vaidya, un modelo de 30B parámetros que utiliza datos sintéticos y aprendizaje por refuerzo basado en rúbricas para mejorar tanto el razonamiento diagnóstico como el clínico en atención médica. El marco de entrenamiento primero se centra en la precisión diagnóstica utilizando preguntas derivadas de MedBullets y luego aborda interacciones clínicas multironda a través de 5.3k escenarios generados con rúbricas multidimensionales.