github llama.cpp · ahora mismo · inference

llama.cpp b10514 añade soporte de conversión para modelos GraniteSWA y GraniteMoeSWA

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10514, que introduce infraestructura de conversión para las arquitecturas IBM's GraniteSWAForCausalLM y GraniteMoeSWAForCausalLM. Esta actualización permite a los usuarios convertir estos tipos específicos de modelos al formato GGUF para su uso con llama.cpp.

Añadido soporte feat(convert) para GraniteSWAForCausalLM y GraniteMoeSWAForCausalLM.
Implementada infraestructura de conversión para arrays rope_pattern y determinación de rope por capa.
Corregida la lógica del patrón SWA para soportar capas non-rope y corregido el nombre para ffn gate inp.
Actualizado llama_hparams con constantes has_rope y eliminados fallbacks rope_finetuned hacky.
Incluidos binarios para macOS, Linux, Windows y Android a través de CPU, CUDA, Vulkan, OpenCL y otros backends.

Este lanzamiento permite que el ecosistema llama.cpp soporte nativamente los modelos IBM's sliding window attention, ampliando la gama de arquitecturas compatibles disponibles para inferencia local.

Importancia 1/3 Confianza 1/3 llama.cpp IBM Inference efficiency

Artículos relacionados

media Hugging Face Forums · hace 1 h · 1 vista En vivo

Las mediciones sugieren reconsiderar el valor predeterminado de q_proj/v_proj para los módulos objetivo de LoRA

El autor mide la superposición del subespacio de gradientes en cuatro modelos para evaluar el valor predeterminado estándar de LoRA que apunta a las proyecciones de consulta y valor. El análisis indica que este valor predeterminado puede ser subóptimo cuando el objetivo es retener capacidades previas en lugar de maximizar la precisión en una nueva tarea.

github llama.cpp · hace 5 h · 1 vista

llama.cpp b10509 añade soporte para ggml_rope_set_offset en Metal, CUDA y Vulkan

El proyecto llama.cpp lanzó la compilación b10509, que introduce soporte para la función `ggml_rope_set_offset` en múltiples backends de hardware. Esta actualización incluye implementaciones de CPU, Metal, CUDA y Vulkan para la nueva operación.

github llama.cpp · hace 9 h · 1 vista

llama.cpp b10505 añade la opción de preset dedup-cache-models

El proyecto llama.cpp ha lanzado la versión b10505, que introduce una nueva opción de preset `dedup-cache-models` para el componente del servidor.

lab Liquid AI · hace 21 h · 1 vista

Los checkpoints LFM2.5 Q4_0 utilizan Distilación Consciente de Cuantización para recuperar el 97% de la precisión BF16

El equipo de LFM2.5 ha publicado actualizaciones de los checkpoints GGUF de 4 bits para los modelos LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct y LFM2.5-2.6B, entrenados mediante Distilación Consciente de Cuantización (QAD). Esta técnica destila un modelo maestro de alta precisión en un estudiante cuantizado para recuperar la precisión perdida durante la cuantización estándar.

lab Hugging Face Blog · hace 22 h · 2 vistas

Liquid AI lanza los checkpoints LFM2.5 Q4_0 mediante Destilación Consciente de Cuantización

Liquid AI ha lanzado los checkpoints GGUF Q4_0 para su familia de modelos LFM2.5, utilizando un nuevo método de entrenamiento llamado Destilación Consciente de Cuantización (QAD). Este enfoque destila modelos maestros de alta precisión en modelos estudiantes cuantizados para recuperar la precisión perdida durante la cuantización estándar posterior al entrenamiento.