github llama.cpp · hace 1 h · inference

llama.cpp b11001 corrige la corrupción de transposición int16 en RISC-V

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b11001, que incluye una corrección crítica para la función `permute_transpose_impl` al manejar datos int16 en arquitecturas RISC-V.

La versión anterior llamaba incorrectamente a `rvv_transposed_s32_mn_to_nm` para enteros de 16 bits, lo que provocaba resultados de transposición corruptos donde 14 de cada 16 posiciones estaban equivocadas en una matriz de 4x4.
La corrección reemplaza la llamada errónea con la función correcta `rvv_transposed_s16_mn_to_nm`, que ya estaba disponible y se usaba en otro lugar de flash attention.
Se proporcionan binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL), Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0), Android y openEuler.

Esta actualización asegura la transposición correcta de datos para operaciones int16 en hardware RISC-V, previniendo errores de cálculo en los modelos afectados.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10995 hace incondicional el final BN/2 de MUL_MAT_ID en Vulkan

El proyecto llama.cpp lanzó la compilación b10995, que modifica el manejo de la operación MUL_MAT_ID en el backend de Vulkan. Específicamente, el cambio hace incondicional el final BN/2 utilizando BN/2 como valor predeterminado para BNover2 y como respaldo deshabilitado para BNover4, mientras elimina la puerta de habilitación de esa rama.

github llama.cpp · hace 15 h · 2 vistas

llama.cpp b10989 habilita AllReduce para ROCm y proporciona binarios multiplataforma

El proyecto llama.cpp ha lanzado la versión b10989, que introduce soporte para habilitar operaciones AllReduce dentro del backend de ROCm. Esta actualización forma parte del desarrollo continuo para ampliar la compatibilidad con hardware y las capacidades de computación distribuida para la inferencia de modelos de lenguaje grandes.

github llama.cpp · hace 20 h · 1 vista

llama.cpp b10988 añade selección de multiplicación matricial de expertos MoE vía OpenCL para descodificación especulativa

El proyecto llama.cpp lanzó la compilación b10988, introduciendo cambios en el backend de OpenCL específicamente para modelos Mixture of Experts (MoE). La actualización implementa lógica para elegir la multiplicación matricial del experto MoE basada en el tamaño del lote durante la descodificación especulativa y la predicción de múltiples tokens.

github llama.cpp · hace 1 d · 1 vista

llama.cpp b10984 añade soporte CUDA para SUM_ROWS contiguo por filas

El proyecto llama.cpp lanzó la versión b10984, introduciendo soporte CUDA para operaciones SUM_ROWS contiguas por filas. Esta actualización también organiza el código para incluir GGML_OP_MEAN para manejar tensores contiguos por filas mediante un kernel compartido.

github llama.cpp · hace 1 d · 1 vista

llama.cpp b10985 restringe la caché hash RPC a los pesos

El proyecto llama.cpp lanzó la compilación b10985, que modifica el backend RPC para limitar el almacenamiento en caché basado en hash exclusivamente a tensores de pesos. Este cambio aborda un problema donde los datos de activación se hashaban y almacenaban innecesariamente, lo que provocaba un uso excesivo del disco.