lab Hugging Face Blog · hace 1 d · releases

El creador de oMLX, Jun Kim, se une a Hugging Face para apoyar a la comunidad MLX

Traducido del English → Español

Jun Kim, creador y mantenedor de oMLX, se ha unido a Hugging Face para apoyar a la comunidad MLX. Este movimiento tiene como objetivo proporcionar estabilidad y un desarrollo más rápido al proyecto de código abierto, pasando de ser un trabajo secundario a una iniciativa totalmente mantenida y financiada.

Jun Kim continuará liderando oMLX bajo la licencia Apache 2.0.
El proyecto servirá como banco de pruebas para nuevas ideas mientras aprovecha dependencias como mlx-lm y mlx-vlm.
Un enfoque clave es agilizar la transición de las definiciones de modelos de transformers a implementaciones de referencia de MLX.
Hugging Face tiene como objetivo fortalecer las relaciones con proyectos como LMStudio, mlx-lm y mlx-vlm.

Esta colaboración busca desbloquear a la comunidad proporcionando herramientas y componentes básicos para ejecutar IA local en diversas formas.

Importancia 1/3 Confianza 1/3 Hugging Face Blog Hugging Face Apple ML Local inference

Leer original

llama.cpp b11122 extiende la fusión MMVQ GLU y añade nuevas fusiones SYCL

El proyecto llama.cpp ha lanzado la versión b11122, que incluye actualizaciones significativas para el backend SYCL. El lanzamiento extiende la fusión MMVQ GLU para soportar tipos de cuantización mixtos e introduce nuevas fusiones para las operaciones rms_norm+scale y ssm_conv+silu.

github llama.cpp · hace 17 h · 9 vistas

llama.cpp añade soporte para DFlash en HunyuanOCR y corrige la conversión de borrador

El proyecto llama.cpp ha añadido soporte para la decodificación especulativa DFlash con el modelo HunyuanOCR, exponiendo los tensores de entrada de las capas en el grafo objetivo. Este cambio permite que el modelo de borrador lea los flujos residuales, lo que posibilita que las solicitudes de imagen se ejecuten correctamente con una tasa de aceptación del borrador de aproximadamente 0.5 y una salida OCR idéntica a nivel de bytes en comparación con las ejecuciones no especulativas.

lab Hugging Face Blog · hace 21 h · 10 vistas

Transformers añade soporte para GGUF mediante núcleos ggml para inferencia local

La biblioteca Transformers de Hugging Face ahora admite la carga de modelos cuantizados en formato GGUF, aprovechando los núcleos subyacentes de ggml para acercar el rendimiento al de llama.cpp. Esta integración permite a los desarrolladores ejecutar puntos de control cuantizados directamente dentro de la API estándar basada en PyTorch en hardware compatible.

github llama.cpp · hace 4 d · 21 vistas

llama.cpp b11046 añade soporte para OpenCL al kernel flash_attn_f32_f16_bin

El proyecto llama.cpp ha lanzado la versión b11046, que introduce soporte para OpenCL en el kernel `flash_attn_f32_f16_bin`. Esta actualización también incluye funcionalidad de prellenado protegido para Flash Attention en dispositivos OpenCL.

github llama.cpp · hace 6 d · 15 vistas

llama.cpp b11019 corrige la alineación de datos GGUF para archivos embebidos y añade carga de LoRA

El proyecto llama.cpp lanzó la versión b11019, corrigiendo un error crítico en el que los archivos GGUF embebidos en desplazamientos no alineados devolvían datos de tensor incorrectos. La actualización alinea la sección de datos GGUF con respecto al inicio del archivo en lugar del desplazamiento 0, asegurando la carga correcta de modelos embebidos.