github llama.cpp · hace 1 d · inference

llama.cpp b10868 añade manejo de tipos IQ para MoE

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10868, que introduce el manejo de tipos IQ para modelos Mixture of Experts (MoE).

Añade soporte para tipos de cuantización IQ dentro de las arquitecturas MoE a través del pull request #28476.
Proporciona binarios para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL), Android y openEuler.
Incluye soporte para iOS XCFramework y un paquete de interfaz de usuario independiente.

Esta actualización permite a los usuarios ejecutar modelos MoE con tipos de cuantización IQ específicos en una amplia gama de plataformas de hardware.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

DeepSeek lanza DeepSeek-V4.1-Flash con contexto de 1M y caché KV FP4

DeepSeek AI ha lanzado DeepSeek-V4.1-Flash, un modelo multimodal Mixture-of-Experts que cuenta con una ventana de contexto de 1 millón de tokens y una caché KV FP4 que reduce la huella global de la caché a 890 bytes por token. El modelo utiliza una arquitectura de codificador-decodificador causal y Compressed Sparse Attention 2 (CSA2) para reducir significativamente los requisitos de memoria mientras mantiene el rendimiento.

github llama.cpp · hace 1 h · 1 vista En vivo

llama.cpp b10889 evita la asignación de caché V para el indexador

El proyecto llama.cpp ha lanzado la compilación b10889, que incluye una optimización de memoria para evitar asignar el caché V para el indexador ya que no se utiliza.

github llama.cpp · hace 3 h · 1 vista

llama.cpp b10888 añade etiquetas de depuración de búfer de comandos para perfiles de GPU

El proyecto llama.cpp ha lanzado la compilación b10888, que incluye una nueva función para agregar etiquetas de depuración de búfer de comandos para perfiles de GPU en el backend de Vulkan.

github llama.cpp · hace 4 h · 1 vista

llama.cpp b10886 añade soporte de intrínsecos vectoriales Q1_0 para s390x

El proyecto llama.cpp lanzó la compilación b10886, que introduce el soporte de intrínsecos vectoriales Q1_0 para la arquitectura s390x. Esta actualización incluye la implementación de `ggml_vec_dot_q1_0_q8_0` y actualiza la documentación para reflejar la nueva capacidad.

github llama.cpp · hace 18 h · 1 vista

llama.cpp b10883 corrige la multiplicación de matrices Vulkan y restaura las optimizaciones de Ampere

El proyecto llama.cpp lanzó la compilación b10883, que incluye actualizaciones significativas en el backend de Vulkan. El cambio principal implica el uso de constantes de especificación para operaciones de multiplicación matriz-matriz tipo A para mejorar la compilación y el rendimiento de los shaders.