media Hugging Face Forums · hace 1 h · open_models

Noah DeAngelis construye atención basada en enrutamiento experimental para modelos GPT

Traducido del English → Español

Noah DeAngelis ha desarrollado un mecanismo de atención basado en enrutamiento experimental para modelos GPT, implementado en un proyecto PyTorch llamado RoutingGPT. El enfoque utiliza una capa lineal aprendida para seleccionar un subconjunto de tokens como claves y valores, manteniendo todos los tokens como consultas.

Con una relación de enrutamiento predeterminada del 25%, la complejidad se reduce de T × T para atención densa a T × 0.25T.
El objetivo es reducir el cálculo de atención y permitir longitudes de contexto más largas en hardware de gama baja.
El proyecto se publica bajo la licencia Apache 2.0 y actualmente es experimental sin una evaluación rigurosa.

Importancia 1/3 Confianza 1/3 Hugging Face Forums Inference efficiency Training methods

Leer original

Las mediciones sugieren reconsiderar el valor predeterminado de q_proj/v_proj para los módulos objetivo de LoRA

El autor mide la superposición del subespacio de gradientes en cuatro modelos para evaluar el valor predeterminado estándar de LoRA que apunta a las proyecciones de consulta y valor. El análisis indica que este valor predeterminado puede ser subóptimo cuando el objetivo es retener capacidades previas en lugar de maximizar la precisión en una nueva tarea.

media Hugging Face Forums · hace 6 d · 13 vistas

El prototipo SpiralCoreAttention selecciona bloques de tokens para el ajuste fino QLoRA de secuencias largas

Un desarrollador busca comentarios sobre SpiralCoreAttention, un prototipo experimental de selección de contexto durante el entrenamiento para el ajuste fino de LLM de pesos abiertos. En lugar de procesar secuencias largas completas en cada pasada hacia adelante y hacia atrás, el sistema selecciona bloques específicos de tokens de la secuencia para entrenar, mientras evalúa el adaptador resultante en secuencias de contexto completo retenidas.

lab Hugging Face Blog · hace 13 d · 37 vistas

Multiverse Computing reduce la VRAM de la destilación de conocimiento con pérdida KL fusionada por fragmentos

Multiverse Computing presenta un enfoque eficiente en memoria para la destilación de conocimiento de modelos de lenguaje grandes, combinando el almacenamiento en caché offline de los top-K logits con una pérdida de divergencia Kullback-Leibler (KL) fusionada por fragmentos. Este método elimina la necesidad de mantener ambos modelos, maestro y estudiante, en memoria simultáneamente, reduciendo drásticamente los requisitos de VRAM.

media r/LocalLLaMA · hace 19 d · 31 vistas

AFM3 20B de Apple utiliza poda de seguimiento de instrucciones para activar ~20% de las capas

Apple ha presentado una nueva arquitectura para sus modelos base de tercera generación (AFM3) que utiliza "Poda de Seguimiento de Instrucciones" para reducir significativamente el conteo de parámetros activos. El modelo está diseñado para activar aproximadamente el 20% de sus capas MLP tomando decisiones de enrutamiento una vez por prompt en lugar de por token.

media Hugging Face Forums · hace 23 d · 35 vistas

PIN v2 desacopla el ancho del modelo del costo de almacenamiento mediante la vinculación de pesos

La Arquitectura PIN v2 introduce un método para pre-seleccionar el tamaño y la velocidad de inferencia de una red neuronal antes del entrenamiento mediante la vinculación de pesos. Esta técnica obliga a grupos de celdas a mantener valores idénticos, permitiendo que la red mantenga su ancho mientras reduce drásticamente el número de pesos almacenados.