github llama.cpp · hace 1 h · inference

llama.cpp b11005 acepta rope probe ceroado para reducir divisiones del grafo

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b11005, que incluye una corrección para el backend Hexagon para aceptar rope probes ceroados en supports_op.

Anteriormente, rechazar probes con n_dims == 0 o freq_base == 0 forzaba a los rope_freqs hacia la CPU, causando divisiones innecesarias del grafo. Este cambio previene dichas divisiones, reduciendo el número de divisiones en modelos como gemma-4-E2B de cinco a dos.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp añade soporte para HrmTextForCausalLM (DFM Mimir 1B)

El proyecto llama.cpp ha añadido soporte para la arquitectura HrmTextForCausalLM, habilitando específicamente la inferencia para el modelo DFM Mimir 1B. Esta implementación introduce un nuevo escritor y cargador GGUF para manejar la estructura única del modelo, que ejecuta dos pilas de transformadores en un ciclo alternado sobre el mismo flujo de tokens.

github llama.cpp · hace 3 h · 1 vista

llama.cpp b11001 corrige la corrupción de transposición int16 en RISC-V

El proyecto llama.cpp lanzó la versión b11001, que incluye una corrección crítica para la función `permute_transpose_impl` al manejar datos int16 en arquitecturas RISC-V.

github llama.cpp · hace 10 h · 1 vista

llama.cpp b10995 hace incondicional el final BN/2 de MUL_MAT_ID en Vulkan

El proyecto llama.cpp lanzó la compilación b10995, que modifica el manejo de la operación MUL_MAT_ID en el backend de Vulkan. Específicamente, el cambio hace incondicional el final BN/2 utilizando BN/2 como valor predeterminado para BNover2 y como respaldo deshabilitado para BNover4, mientras elimina la puerta de habilitación de esa rama.

github llama.cpp · hace 18 h · 2 vistas

llama.cpp b10989 habilita AllReduce para ROCm y proporciona binarios multiplataforma

El proyecto llama.cpp ha lanzado la versión b10989, que introduce soporte para habilitar operaciones AllReduce dentro del backend de ROCm. Esta actualización forma parte del desarrollo continuo para ampliar la compatibilidad con hardware y las capacidades de computación distribuida para la inferencia de modelos de lenguaje grandes.

github llama.cpp · hace 23 h · 1 vista

llama.cpp b10988 añade selección de multiplicación matricial de expertos MoE vía OpenCL para descodificación especulativa

El proyecto llama.cpp lanzó la compilación b10988, introduciendo cambios en el backend de OpenCL específicamente para modelos Mixture of Experts (MoE). La actualización implementa lógica para elegir la multiplicación matricial del experto MoE basada en el tamaño del lote durante la descodificación especulativa y la predicción de múltiples tokens.