ByteDance ha anunciado su compromiso de desarrollar su próximo modelo de IA sin depender de técnicas de destilación de IA.
La empresa tiene la intención de seguir un camino de desarrollo independiente para sus futuros modelos.
media
r/LocalLLaMA
·
hace 1 h
·
open_models
ByteDance se compromete a evitar la destilación de IA y desarrollar un nuevo modelo a su manera
Traducido del English → Español
Artículos relacionados
media
r/LocalLLaMA
·
hace 7 h
·
3 vistas
MiniMax lanza el modelo de generación de video H3 con pesos abiertos y audio estéreo nativo
MiniMax lanzó el modelo omnimodal de generación de video H3 con pesos abiertos en Hugging Face, que cuenta con audio estéreo nativo capaz de impulsar el video en un solo paso hacia adelante. El modelo admite resolución 2K a 24 fps para clips de 5 a 15 segundos y acepta hasta nueve imágenes de referencia, tres videos y tres clips de audio por generación.
arxiv
arXiv cs.LG
·
hace 3 d
U-OPSD permite la auto-distilación no supervisada en política para LLM
Los investigadores proponen la Auto-Distilación No Supervisada en Política (U-OPSD), un método que logra una mejora post-entrenamiento para modelos de lenguaje grandes utilizando únicamente las propias generaciones del modelo sin supervisión externa. El enfoque muestrea múltiples trayectorias para construir una pseudo-solución mediante votación mayoritaria, luego destila una distribución docente en los prefijos de la finalización incorrecta más larga del modelo.
arxiv
arXiv cs.CL
·
hace 6 d
·
1 vista
Douyin lanza el modelo de incrustación multimodal DME con rendimiento de vanguardia
Douyin ha publicado el informe técnico de su modelo de Incrustación Multimodal (DME), que combina preentrenamiento contrastivo a gran escala con razonamiento latente para lograr una fuerte discriminación y eficiencia.
media
r/LocalLLaMA
·
hace 6 d
·
5 vistas
AFM3 20B de Apple utiliza poda de seguimiento de instrucciones para activar ~20% de las capas
Apple ha presentado una nueva arquitectura para sus modelos base de tercera generación (AFM3) que utiliza "Poda de Seguimiento de Instrucciones" para reducir significativamente el conteo de parámetros activos. El modelo está diseñado para activar aproximadamente el 20% de sus capas MLP tomando decisiones de enrutamiento una vez por prompt en lugar de por token.
media
MarkTechPost
·
hace 8 d
·
4 vistas
NVIDIA NeMo lanza Molt, un framework de RL agéntico compacto y nativo de PyT
El equipo de NeMo de NVIDIA ha lanzado Molt, un framework de aprendizaje por refuerzo agéntico de código abierto diseñado para reducir la complejidad de la iteración de algoritmos para investigadores. La base de código tiene aproximadamente 8.6K líneas de código RL, significativamente menor que frameworks comparables como verl (62K líneas) y slime (25K líneas).