github MLX · hace 1 h · inference

MLX v0.32.1 añade soporte para dimensión de cabeza 72 en atención completa de Metal

Traducido del English → Español

La biblioteca MLX lanzó la versión 0.32.1, introduciendo soporte para una dimensión de cabeza de 72 dentro de su implementación de atención completa de Metal.

La actualización permite el uso de la dimensión de cabeza 72 en la atención completa de Metal a través del pull request #4330.

Importancia 1/3 Confianza 2/3 MLX Apple ML Inference efficiency

Leer original

AFM3 20B de Apple utiliza poda de seguimiento de instrucciones para activar ~20% de las capas

Apple ha presentado una nueva arquitectura para sus modelos base de tercera generación (AFM3) que utiliza "Poda de Seguimiento de Instrucciones" para reducir significativamente el conteo de parámetros activos. El modelo está diseñado para activar aproximadamente el 20% de sus capas MLP tomando decisiones de enrutamiento una vez por prompt en lugar de por token.

media r/LocalLLaMA · hace 34 d · 9 vistas

Apple está en conversaciones con la startup PrismML para reducir modelos de IA y ejecutarlos en un iPhone

Apple está actualmente en discusiones con la startup PrismML respecto a una tecnología que comprime modelos de inteligencia artificial para su despliegue en iPhones.

github MLX · hace 41 d · 11 vistas

MLX v0.32.0 corrige los gradientes de conv2 en el caso estratificado agrupado en Metal

La biblioteca MLX lanzó la versión 0.32.0, que aborda un error específico en el backend de Metal.

arxiv arXiv cs.CL · hace 44 d · 1 vista

BaseRT ofrece inferencia LLM de primera clase en Apple Silicon a través de Metal nativo

Los investigadores presentan BaseRT, un runtime de inferencia nativo con Metal para modelos de lenguaje grande en Apple Silicon que logra la mayor tasa de inferencia reportada hasta la fecha. Al utilizar fusión de kernels específica del chip y optimización consciente de la memoria unificada, supera la sobrecarga presente en frameworks existentes como llama.cpp y MLX.

media r/LocalLLaMA · hace 58 d · 3 vistas

Ahora puedes convertir cuantizaciones EXL3 en Mac con Apple Silicon

Los usuarios ahora pueden convertir y ejecutar modelos cuantizados EXL3 en Mac con Apple Silicon y 64GB+ de RAM. Las pruebas muestran que modelos como MiniCPM5 y Qwen3.6-27B logran un rendimiento comparable o ligeramente inferior a las conversiones basadas en tarjetas RTX, con EXL3 ofreciendo una calidad de cuantización superior en comparación con MLX.