github llama.cpp · hace 17 h · inference

llama.cpp b11310 protege el kernel de desquantización iq4_nl contra filas cortas

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b11310, que incluye una corrección para la lógica de desquantización IQ4_NL del backend CUDA. La actualización aborda un problema de seguridad de memoria donde los hilos podían leer y escribir más allá del final de una fila al procesar bloques más cortos que QK_K.

Protege el kernel de desquantización de filas iq4_nl contra filas cortas omitiendo subbloques que comienzan en o más allá de la longitud de la fila.
Proporciona binarios precompilados para macOS (Apple Silicon e Intel), Linux, Windows, Android y openEuler a través de los backends CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL y Snapdragon.

Esta corrección previene el acceso a memoria fuera de límites potencial durante la inferencia con modelos cuantizados IQ4_NL en dispositivos CUDA.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

Propuesta para recuperar memoria latente nativa de LLM en lugar de texto en RAG

Una discusión en Hugging Face propone reemplazar la recuperación tradicional de texto en sistemas RAG con representaciones latentes nativas de LLM. La idea implica codificar documentos en estados internos del modelo durante la indexación y recuperar esos estados para inferencia, potencialmente evitando el costo de volver a procesar el texto recuperado.

github llama.cpp · hace 17 h · 4 vistas

llama.cpp b11309 optimiza ALLREDUCE de Hexagon con modo scatter seguro

El proyecto llama.cpp lanzó la versión b11309, que incluye una optimización clave para el backend de Hexagon. Esta actualización añade soporte para el modo scatter seguro a la operación ALLREDUCE, buscando mejorar el rendimiento y la estabilidad en dispositivos Qualcomm Snapdragon.

github llama.cpp · hace 20 h · 1 vista

llama.cpp b11307 preserva el orden del lote para la decodificación especulativa

El proyecto llama.cpp lanzó la compilación b11307, que corrige el orden de entrada de las capas para preservar la secuencia original del lote durante la decodificación especulativa. Este cambio asegura que el orden de los tokens se mantenga correctamente para las incrustaciones NextN no enmascaradas y sea compatible con las divisiones de tensores.

github llama.cpp · hace 21 h · 7 vistas

llama.cpp b11306 corrige la interrupción de realocación del gráfico alternando causal_attn

El proyecto llama.cpp lanzó la compilación b11306, que soluciona un fallo causado por cambios en la forma del gráfico durante la decodificación. La actualización modifica el manejo de la bandera `causal_attn` para evitar fallos de realocación bajo restricciones específicas de programación.

github llama.cpp · hace 22 h · 1 vista

llama.cpp b11301 corrige desbordamiento entero en ggml/gguf

El proyecto llama.cpp ha lanzado la compilación b11301, que incluye una corrección para un problema de desbordamiento entero dentro de los componentes ggml y gguf. Esta actualización aborda la lógica de validación para prevenir errores potenciales al manejar tensores de cero elementos.