github llama.cpp · hace 12 h · inference

llama.cpp b10989 habilita AllReduce para ROCm y proporciona binarios multiplataforma

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10989, que introduce soporte para habilitar operaciones AllReduce dentro del backend de ROCm. Esta actualización forma parte del desarrollo continuo para ampliar la compatibilidad con hardware y las capacidades de computación distribuida para la inferencia de modelos de lenguaje grandes.

El lanzamiento incluye binarios precompilados para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x), Windows y Android.
Las opciones de aceleración GPU se han ampliado para incluir CUDA 12.8/13.3, Vulkan, OpenVINO, SYCL FP32/FP16 y ROCm 10.0 en las plataformas compatibles.
Se proporcionan compilaciones específicas para las arquitecturas openEuler x86 y aarch64, incluyendo soporte para ACL Graph en procesadores 910b.
También está disponible un binario de interfaz de usuario independiente junto con los lanzamientos de la biblioteca principal.

Este lanzamiento permite a los usuarios aprovechar las GPUs AMD basadas en ROCm con funcionalidad AllReduce, mientras proporciona binarios actualizados para varios sistemas operativos y aceleradores de hardware.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Artículos relacionados

github llama.cpp · hace 4 h · 1 vista

llama.cpp b10995 hace incondicional el final BN/2 de MUL_MAT_ID en Vulkan

El proyecto llama.cpp lanzó la compilación b10995, que modifica el manejo de la operación MUL_MAT_ID en el backend de Vulkan. Específicamente, el cambio hace incondicional el final BN/2 utilizando BN/2 como valor predeterminado para BNover2 y como respaldo deshabilitado para BNover4, mientras elimina la puerta de habilitación de esa rama.

github llama.cpp · hace 16 h · 1 vista

llama.cpp b10988 añade selección de multiplicación matricial de expertos MoE vía OpenCL para descodificación especulativa

El proyecto llama.cpp lanzó la compilación b10988, introduciendo cambios en el backend de OpenCL específicamente para modelos Mixture of Experts (MoE). La actualización implementa lógica para elegir la multiplicación matricial del experto MoE basada en el tamaño del lote durante la descodificación especulativa y la predicción de múltiples tokens.

github llama.cpp · hace 21 h · 1 vista

llama.cpp b10984 añade soporte CUDA para SUM_ROWS contiguo por filas

El proyecto llama.cpp lanzó la versión b10984, introduciendo soporte CUDA para operaciones SUM_ROWS contiguas por filas. Esta actualización también organiza el código para incluir GGML_OP_MEAN para manejar tensores contiguos por filas mediante un kernel compartido.

github llama.cpp · hace 21 h · 1 vista

llama.cpp b10985 restringe la caché hash RPC a los pesos

El proyecto llama.cpp lanzó la compilación b10985, que modifica el backend RPC para limitar el almacenamiento en caché basado en hash exclusivamente a tensores de pesos. Este cambio aborda un problema donde los datos de activación se hashaban y almacenaban innecesariamente, lo que provocaba un uso excesivo del disco.

github llama.cpp · hace 1 d · 4 vistas

llama.cpp b10981 corrige la decodificación con estado para Gemma-4 y optimiza la inferencia de MoE en GPU

La versión b10981 de llama.cpp aborda problemas críticos de corrección en la ruta de decodificación con estado del backend OpenVINO, corrigiendo específicamente el soporte para modelos como Gemma-4 que utilizan tamaños de cabeza por capa. También introduce optimizaciones para la inferencia de MoE (Mixture of Experts) en GPU y mejora el rendimiento mediante relayouts del estado KV.