Fuente · r/LocalLLaMA
media r/LocalLLaMA · hace 6 d · 4 vistas

AFM3 20B de Apple utiliza poda de seguimiento de instrucciones para activar ~20% de las capas

Apple ha presentado una nueva arquitectura para sus modelos base de tercera generación (AFM3) que utiliza "Poda de Seguimiento de Instrucciones" para reducir significativamente el conteo de parámetros activos. El modelo está diseñado para activar aproximadamente el 20% de sus capas MLP tomando decisiones de enrutamiento una vez por prompt en lugar de por token.