github llama.cpp · hace 1 h · inference

llama.cpp b11009 corrige el estado dividido para QKV fusionado en gemma4 y qwen35

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b11009, que aborda problemas críticos con el estado dividido y los cálculos de granularidad para las capas de atención QKV fusionadas.

El código del modelo ahora calcula correctamente los estados divididos para attn_qkv basándose en n_head * n_embd_head_k, resolviendo problemas de compatibilidad con modelos gemma4 que usan la bandera --fuse-qkv donde n_embd es 5376 pero Q es 8192.
Se ha añadido soporte para capas de atención completa fusionadas para las arquitecturas qwen35 y qwen35moe.
Se añadió una etiqueta TODO [TAG_SPLIT_QGATE_QWEN] para rastrear el trabajo adicional en la división de QGate para los modelos Qwen.

Este lanzamiento asegura que configuraciones específicas del modelo, particularmente aquellas que involucran operaciones QKV fusionadas en gemma4 y qwen35, funcionen correctamente sin errores de cálculo de estado.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b11006 añade soporte Hexagon para K-Quants Q4_K y Q6_K

El proyecto llama.cpp lanzó la versión b11006, introduciendo soporte para procesadores Qualcomm Hexagon para manejar formatos de cuantización K. Esta actualización implementa núcleos específicos para los niveles de cuantización Q4_K y Q6_K en la arquitectura Hexagon.

github llama.cpp · hace 4 h · 2 vistas

llama.cpp b11005 acepta rope probe ceroado para reducir divisiones del grafo

El proyecto llama.cpp lanzó la versión b11005, que incluye una corrección para el backend Hexagon para aceptar rope probes ceroados en supports_op.

github llama.cpp · hace 5 h · 2 vistas

llama.cpp añade soporte para HrmTextForCausalLM (DFM Mimir 1B)

El proyecto llama.cpp ha añadido soporte para la arquitectura HrmTextForCausalLM, habilitando específicamente la inferencia para el modelo DFM Mimir 1B. Esta implementación introduce un nuevo escritor y cargador GGUF para manejar la estructura única del modelo, que ejecuta dos pilas de transformadores en un ciclo alternado sobre el mismo flujo de tokens.

github llama.cpp · hace 7 h · 1 vista

llama.cpp b11001 corrige la corrupción de transposición int16 en RISC-V

El proyecto llama.cpp lanzó la versión b11001, que incluye una corrección crítica para la función `permute_transpose_impl` al manejar datos int16 en arquitecturas RISC-V.

github llama.cpp · hace 13 h · 1 vista

llama.cpp b10995 hace incondicional el final BN/2 de MUL_MAT_ID en Vulkan

El proyecto llama.cpp lanzó la compilación b10995, que modifica el manejo de la operación MUL_MAT_ID en el backend de Vulkan. Específicamente, el cambio hace incondicional el final BN/2 utilizando BN/2 como valor predeterminado para BNover2 y como respaldo deshabilitado para BNover4, mientras elimina la puerta de habilitación de esa rama.