Un usuario informa de experimentos preliminares ejecutando modelos de lenguaje basados en difusión (dLLMs), específicamente LLaDA2.1 y Sumi, en hardware Apple Silicon utilizando un motor personalizado diseñado para dispositivos M1 y M2 Ultra.

  • El rendimiento base establecido fue de 4,6–22,2 tok/s en M1 y 32,1–122,6 tok/s en M2 Ultra.
  • Se adoptó la cuantización uniforme de 4 bits como valor predeterminado, lo que resultó en una huella del modelo de ~9,57 GB con una tasa baja de flip confiable.
  • Se probaron varias optimizaciones, incluyendo caché elástico (rechazado), desenmascaramiento multi-bloque (aceptado provisionalmente) y especulación automática vía S2D2 (aceptado).
  • El voto TSCV mejoró la precisión de GSM8K en 6–8 puntos porcentuales con cero sobrecarga de CPU, mientras que el Decodificación de Crédito arrojó ganancias insignificantes.
  • El análisis de enrutamiento reveló que los recuentos de expertos distintos son menores de lo previsto, y la cuantización sigue siendo necesaria ya que la dequantización ralentiza el rendimiento.

El autor tiene como objetivo construir un motor de difusión funcional para dispositivos personales y obtener una comprensión más profunda de cómo operan estos modelos.