github llama.cpp · hace 1 d · inference

llama.cpp b11095 añade GATED_DELTA_NET optimizado para HMX y reduce lecturas DDR

Traducido del English → Español

La versión llama.cpp b11095 introduce una nueva implementación de GATED_DELTA_NET (GDN) optimizada para HMX, junto con varias optimizaciones para los núcleos Hexagon y Flash Attention.

El soporte de GDN incluye canalización, subprocesamiento HVX y operaciones vectorizadas para mejorar el rendimiento en chips Qualcomm.
Las actualizaciones de Flash Attention reducen las lecturas DDR entre un 20-30% durante la generación de tokens mediante acumulación en registros y mejoras en el canal DMA.
La versión proporciona binarios para macOS, Linux, Windows, Android y openEuler a través de los backends CPU, CUDA, ROCm, Vulkan y OpenVINO.

Esta actualización mejora la eficiencia de inferencia en arquitecturas de hardware específicas mientras mantiene una amplia compatibilidad con los entornos de implementación existentes.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b11122 extiende la fusión MMVQ GLU y añade nuevas fusiones SYCL

El proyecto llama.cpp ha lanzado la versión b11122, que incluye actualizaciones significativas para el backend SYCL. El lanzamiento extiende la fusión MMVQ GLU para soportar tipos de cuantización mixtos e introduce nuevas fusiones para las operaciones rms_norm+scale y ssm_conv+silu.

github llama.cpp · hace 1 h · 11 vistas En vivo

llama.cpp b11120 oculta símbolos internos de Vulkan para corregir la destrucción del estado

El proyecto llama.cpp lanzó la versión b11120, que corrige un error crítico en el backend de Vulkan ocultando los símbolos internos. Este cambio evita problemas de destrucción del estado por duplicate-dlopen que ocurrían cuando se exportaban los símbolos internos.

arxiv arXiv cs.AI · hace 4 h · 9 vistas

CliffCompaction reduce los costos de los agentes de codificación en un 50 % mientras mantiene el rendimiento

Los investigadores presentan CliffCompaction, una técnica de autocompacción diseñada para reducir los costos de los agentes de codificación de largo alcance hasta en un 50 % bajo un contexto acotado. El método mantiene o mejora el rendimiento en Terminal-Bench y logra resultados de última generación en KernelBench al mantener la información compactada fiel mediante truncamiento en lugar de reformulación.

arxiv arXiv cs.LG · hace 5 h · 9 vistas

CliffCompaction reduce los costos de agentes de codificación de largo alcance hasta en un 50% mientras mantiene el rendimiento

Los investigadores presentan CliffCompaction, una técnica de autocompacción diseñada para agentes que manejan millones de tokens, la cual reduce los costos hasta en un 50% bajo contexto acotado. El método mantiene o mejora el rendimiento en Terminal-Bench y logra resultados de vanguardia en KernelBench al mantener la información fiel mediante truncamiento en lugar de reformulación.

github llama.cpp · hace 6 h · 13 vistas

llama.cpp b11118 introduce un caché DMA de mapeo directo para el manejo de máscaras FA de HVX

El proyecto llama.cpp ha lanzado la compilación b11118, que incluye una nueva función hex-dma que introduce un caché DMA de mapeo directo mejor adaptado para el manejo de máscaras FA de Hexagon Vector eXtended (HVX).