github llama.cpp · hace 13 h · inference

llama.cpp b10754 corrige lecturas fuera de límites en núcleos de imagen OpenCL de Adreno

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10754, que incluye una corrección crítica para OpenCL en GPUs Adreno para prevenir lecturas de memoria fuera de los límites en núcleos de procesamiento de imágenes.

La búsqueda de fila de decodificación q4_K GEMV ahora está acotada en una cuadrícula x rellena.
El contrato de agrupamiento para GEMMs KQ/KQV de imagen se aplica estrictamente.
La lógica de división para la imagen KQ/KQV se determina en el momento del envío, en lugar de depender de los pasos (strides).

Esta actualización garantiza estabilidad y corrección para usuarios que ejecutan llama.cpp con aceleración OpenCL en hardware Adreno.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10766 añade soporte de visión para DeepSeek 4

El proyecto llama.cpp ha lanzado la compilación b10766, que incluye una corrección para soportar correctamente la entrada visual del modelo DeepSeek 4.

github llama.cpp · hace 1 h · 1 vista En vivo

llama.cpp b10762 añade soporte para DeepSeek-V4-Flash-Vision-Exp

El proyecto llama.cpp ha lanzado la compilación b10762, que introduce soporte para el modelo DeepSeek-V4-Flash-Vision-Exp. Esta actualización también incluye el manejo de conteos mínimos y máximos de tokens desde la interfaz de línea de comandos.

github llama.cpp · hace 1 h · 1 vista En vivo

llama.cpp b10763 habilita preserve_reasoning por defecto

El proyecto llama.cpp lanzó la compilación b10763, que cambia el comportamiento predeterminado del argumento de palabra clave `preserve_reasoning` de la plantilla de chat. El servidor ahora registra el estado efectivo de este kwarg y emite una advertencia cuando está habilitado por defecto en plantillas que lo admiten.

github llama.cpp · hace 8 h · 1 vista

llama.cpp b10760 corrige la estabilidad de inferencia de Qwen3-tts-0.6b

El proyecto llama.cpp lanzó la compilación b10760, que incluye correcciones específicas para el modelo Qwen3-tts-0.6B para prevenir inestabilidad numérica durante la inferencia.

github llama.cpp · hace 9 h · 1 vista

llama.cpp b10758 añade fusión de MUL_MAT y MUL_MAT_ID para Hexagon

El proyecto llama.cpp lanzó la compilación b10758, introduciendo capacidades de fusión de MUL_MAT y MUL_MAT_ID para el DSP Hexagon. Esta actualización también incluye varias correcciones para mejorar la estabilidad y el rendimiento en hardware Qualcomm.