github llama.cpp · ahora mismo · inference

llama.cpp añade soporte para HrmTextForCausalLM (DFM Mimir 1B)

Traducido del English → Español

El proyecto llama.cpp ha añadido soporte para la arquitectura HrmTextForCausalLM, habilitando específicamente la inferencia para el modelo DFM Mimir 1B. Esta implementación introduce un nuevo escritor y cargador GGUF para manejar la estructura única del modelo, que ejecuta dos pilas de transformadores en un ciclo alternado sobre el mismo flujo de tokens.

El proceso de conversión mapea las proyecciones gqkv fusionadas a q/k/v de llama.cpp más un tensor de puerta sigmoide separado.
La caché KV maneja el aliasing de bloques para arquitecturas en bucle, manteniendo una entrada por pasada a través de 128 capas.
La inferencia se verifica frente a las salidas de referencia de Hugging Face con resultados idénticos de argmax en 334 posiciones.
La cuantización a q8_0 conserva el 95.8% de precisión top-1, con los errores restantes confinados dentro del top-5 de HF.

Esta adición permite a los usuarios ejecutar modelos HRM-text en hardware local, aunque viene con compensaciones significativas de rendimiento debido al diseño de la arquitectura.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Artículos relacionados

github llama.cpp · hace 2 h · 1 vista

llama.cpp b11001 corrige la corrupción de transposición int16 en RISC-V

El proyecto llama.cpp lanzó la versión b11001, que incluye una corrección crítica para la función `permute_transpose_impl` al manejar datos int16 en arquitecturas RISC-V.

github llama.cpp · hace 8 h · 1 vista

llama.cpp b10995 hace incondicional el final BN/2 de MUL_MAT_ID en Vulkan

El proyecto llama.cpp lanzó la compilación b10995, que modifica el manejo de la operación MUL_MAT_ID en el backend de Vulkan. Específicamente, el cambio hace incondicional el final BN/2 utilizando BN/2 como valor predeterminado para BNover2 y como respaldo deshabilitado para BNover4, mientras elimina la puerta de habilitación de esa rama.

github llama.cpp · hace 16 h · 2 vistas

llama.cpp b10989 habilita AllReduce para ROCm y proporciona binarios multiplataforma

El proyecto llama.cpp ha lanzado la versión b10989, que introduce soporte para habilitar operaciones AllReduce dentro del backend de ROCm. Esta actualización forma parte del desarrollo continuo para ampliar la compatibilidad con hardware y las capacidades de computación distribuida para la inferencia de modelos de lenguaje grandes.

github llama.cpp · hace 21 h · 1 vista

llama.cpp b10988 añade selección de multiplicación matricial de expertos MoE vía OpenCL para descodificación especulativa

El proyecto llama.cpp lanzó la compilación b10988, introduciendo cambios en el backend de OpenCL específicamente para modelos Mixture of Experts (MoE). La actualización implementa lógica para elegir la multiplicación matricial del experto MoE basada en el tamaño del lote durante la descodificación especulativa y la predicción de múltiples tokens.

github llama.cpp · hace 1 d · 1 vista

llama.cpp b10984 añade soporte CUDA para SUM_ROWS contiguo por filas

El proyecto llama.cpp lanzó la versión b10984, introduciendo soporte CUDA para operaciones SUM_ROWS contiguas por filas. Esta actualización también organiza el código para incluir GGML_OP_MEAN para manejar tensores contiguos por filas mediante un kernel compartido.