media Hugging Face Forums · hace 3 d · open_models

Investigador busca experiencia industrial con desafíos de ingeniería de destilación de conocimiento

Traducido del English → Español

Un investigador que comparte su trabajo exploratorio sobre destilación de conocimiento basada en logits está pidiendo a la comunidad experiencias industriales del mundo real e ideas de ingeniería.

El autor experimentó con arquitecturas ResNet, cuantización y poda del 90% en CIFAR-10/100 para comprender la selección de hiperparámetros e impactos arquitectónicos.
Busca detalles sobre contextos de problemas que llevaron a usar destilación, enfoques específicos tomados y dificultades no obvias encontradas.
La solicitud se centra en compensaciones inesperadas y situaciones donde se necesitaba más comprensión del proceso de destilación.

El objetivo es cerrar la brecha entre la exploración académica y la aplicación industrial práctica reuniendo ejemplos concretos de desafíos de ingeniería.

Importancia 1/3 Confianza 1/3 Hugging Face Forums Inference efficiency Training methods

Leer original

Los Modelos de Lenguaje Contextual gestionan el contexto nativamente como archivos editables

Investigadores presentan los Modelos de Lenguaje Contextual (CLMs), una nueva arquitectura que trata la ventana de contexto del modelo como un archivo editable, permitiendo al modelo realizar actualizaciones sin restricciones a su propia memoria. Este enfoque desplaza la gestión del contexto desde el control externo del sistema hacia el comportamiento intrínseco del modelo, habilitando tanto el aprendizaje in-contexto como paramétrico de estrategias de gestión de contexto.

media Hugging Face Forums · hace 9 d · 14 vistas

Jen Wei depura problemas con los optimizadores Muon y Dion3 en OLMo-core

Jen Wei encontró una espiral de muerte de la tasa de aprendizaje al probar AdamW, Muon y la última implementación de Dion3 dentro de OLMo-core para una próxima charla en la Conferencia PyTorch.

lab Hugging Face Blog · hace 16 d · 19 vistas

TRL v1.14 AsyncGRPOTrainer permite sincronización solo con LoRA en Hugging Face Jobs

TRL v1.14 introduce soporte para LoRA en AsyncGRPOTrainer, permitiendo entrenar un adaptador de Low-Rank Adaptation y sincronizar únicamente ese pequeño archivo con los trabajadores de inferencia de vLLM. Esta arquitectura desacopla los trabajos de entrenamiento y generación en máquinas separadas mediante el uso de un Storage Bucket compartido como puente de sistema de archivos, eliminando la necesidad de NCCL o comunicación directa de red entre nodos.

media Hugging Face Forums · hace 23 d · 19 vistas

KV Graft Steering transfiere conceptos congelando estados KV

Una demostración muestra que congelar los estados de clave-valor (KV) de un texto guía permite a un modelo Qwen2.5-3B-Instruct aplicar nuevas instrucciones sin incluir la guía en el prompt activo. El método implica ejecutar una vez el texto guía a través del modelo, congelar su caché KV y luego generar respuestas sobre ese prefijo oculto.

arxiv arXiv cs.CL · hace 29 d · 26 vistas

Consolidar más de 200 aplicaciones en un único LLM autoalojado mediante GRPO multi-eje y SLERP

El artículo describe un método para consolidar el tráfico de más de 200 aplicaciones internas en un único modelo de lenguaje grande autoalojado, con el fin de abordar las restricciones de residencia de datos y la fragmentación de GPU. El enfoque cierra las brechas de calidad en el seguimiento de instrucciones, la llamada de funciones y la distribución de tareas internas mediante el entrenamiento de expertos GRPO separados por eje y su fusión mediante SLERP en dos etapas.