github llama.cpp · hace 4 h · inference

llama.cpp b10995 hace incondicional el final BN/2 de MUL_MAT_ID en Vulkan

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10995, que modifica el manejo de la operación MUL_MAT_ID en el backend de Vulkan. Específicamente, el cambio hace incondicional el final BN/2 utilizando BN/2 como valor predeterminado para BNover2 y como respaldo deshabilitado para BNover4, mientras elimina la puerta de habilitación de esa rama.

El lanzamiento incluye binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) y openEuler.

Esta actualización proporciona a los usuarios compilaciones actualizadas en múltiples plataformas y aceleradores de hardware.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10989 habilita AllReduce para ROCm y proporciona binarios multiplataforma

El proyecto llama.cpp ha lanzado la versión b10989, que introduce soporte para habilitar operaciones AllReduce dentro del backend de ROCm. Esta actualización forma parte del desarrollo continuo para ampliar la compatibilidad con hardware y las capacidades de computación distribuida para la inferencia de modelos de lenguaje grandes.

github llama.cpp · hace 16 h · 1 vista

llama.cpp b10988 añade selección de multiplicación matricial de expertos MoE vía OpenCL para descodificación especulativa

El proyecto llama.cpp lanzó la compilación b10988, introduciendo cambios en el backend de OpenCL específicamente para modelos Mixture of Experts (MoE). La actualización implementa lógica para elegir la multiplicación matricial del experto MoE basada en el tamaño del lote durante la descodificación especulativa y la predicción de múltiples tokens.

github llama.cpp · hace 21 h · 1 vista

llama.cpp b10984 añade soporte CUDA para SUM_ROWS contiguo por filas

El proyecto llama.cpp lanzó la versión b10984, introduciendo soporte CUDA para operaciones SUM_ROWS contiguas por filas. Esta actualización también organiza el código para incluir GGML_OP_MEAN para manejar tensores contiguos por filas mediante un kernel compartido.

github llama.cpp · hace 21 h · 1 vista

llama.cpp b10985 restringe la caché hash RPC a los pesos

El proyecto llama.cpp lanzó la compilación b10985, que modifica el backend RPC para limitar el almacenamiento en caché basado en hash exclusivamente a tensores de pesos. Este cambio aborda un problema donde los datos de activación se hashaban y almacenaban innecesariamente, lo que provocaba un uso excesivo del disco.

github llama.cpp · hace 1 d · 4 vistas

llama.cpp b10981 corrige la decodificación con estado para Gemma-4 y optimiza la inferencia de MoE en GPU

La versión b10981 de llama.cpp aborda problemas críticos de corrección en la ruta de decodificación con estado del backend OpenVINO, corrigiendo específicamente el soporte para modelos como Gemma-4 que utilizan tamaños de cabeza por capa. También introduce optimizaciones para la inferencia de MoE (Mixture of Experts) en GPU y mejora el rendimiento mediante relayouts del estado KV.