github llama.cpp · hace 1 h · inference

llama.cpp v0.5.0 añade soporte para HRM-Text, aceleración de conv2d en CUDA y enlace a múltiples direcciones

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión 0.5.0, centrada en el rendimiento del backend, una mayor cobertura de modelos y un funcionamiento del servidor más robusto. Esta actualización introduce soporte para nuevas arquitecturas como HRM-Text (DFM Mimir 1B) y MiMo-V2.6, mientras mejora significativamente la eficiencia computacional mediante optimizaciones de CUDA y Metal.

Acelera las operaciones conv2d en CUDA utilizando GEMM implícito.
Añade fusiones de optimización para Metal MoE y SSM_CONV.
Permite que el servidor se enlace a múltiples direcciones mediante direcciones TCP separadas por comas y sockets UNIX.
Habilita salidas de imagen desde llamadas a funciones añadiendo soporte para input_image.
Actualiza ggml a v0.25.0, expandiendo el soporte de hiper-conexión y flash-attention en los backends.

El lanzamiento mejora la estabilidad para los procesos hijos generados por el enrutador y corrige varios problemas del analizador de chat, asegurando un funcionamiento más fiable para usuarios que despliegan llama.cpp en entornos de producción.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Artículos relacionados

github llama.cpp · hace 14 h · 12 vistas

llama.cpp b11122 extiende la fusión MMVQ GLU y añade nuevas fusiones SYCL

El proyecto llama.cpp ha lanzado la versión b11122, que incluye actualizaciones significativas para el backend SYCL. El lanzamiento extiende la fusión MMVQ GLU para soportar tipos de cuantización mixtos e introduce nuevas fusiones para las operaciones rms_norm+scale y ssm_conv+silu.

github llama.cpp · hace 1 d · 11 vistas

llama.cpp añade soporte para DFlash en HunyuanOCR y corrige la conversión de borrador

El proyecto llama.cpp ha añadido soporte para la decodificación especulativa DFlash con el modelo HunyuanOCR, exponiendo los tensores de entrada de las capas en el grafo objetivo. Este cambio permite que el modelo de borrador lea los flujos residuales, lo que posibilita que las solicitudes de imagen se ejecuten correctamente con una tasa de aceptación del borrador de aproximadamente 0.5 y una salida OCR idéntica a nivel de bytes en comparación con las ejecuciones no especulativas.

lab Hugging Face Blog · hace 1 d · 14 vistas

Transformers añade soporte para GGUF mediante núcleos ggml para inferencia local

La biblioteca Transformers de Hugging Face ahora admite la carga de modelos cuantizados en formato GGUF, aprovechando los núcleos subyacentes de ggml para acercar el rendimiento al de llama.cpp. Esta integración permite a los desarrolladores ejecutar puntos de control cuantizados directamente dentro de la API estándar basada en PyTorch en hardware compatible.

github llama.cpp · hace 5 d · 22 vistas

llama.cpp b11046 añade soporte para OpenCL al kernel flash_attn_f32_f16_bin

El proyecto llama.cpp ha lanzado la versión b11046, que introduce soporte para OpenCL en el kernel `flash_attn_f32_f16_bin`. Esta actualización también incluye funcionalidad de prellenado protegido para Flash Attention en dispositivos OpenCL.

github llama.cpp · hace 6 d · 18 vistas

llama.cpp b11019 corrige la alineación de datos GGUF para archivos embebidos y añade carga de LoRA

El proyecto llama.cpp lanzó la versión b11019, corrigiendo un error crítico en el que los archivos GGUF embebidos en desplazamientos no alineados devolvían datos de tensor incorrectos. La actualización alinea la sección de datos GGUF con respecto al inicio del archivo en lugar del desplazamiento 0, asegurando la carga correcta de modelos embebidos.