github llama.cpp · hace 3 d · inference

llama.cpp b11064 admite hc arbitrario en dsv4_hc_pre

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b11064, que modifica el backend metal para admitir recuentos de cabezas (hc) arbitrarios en el kernel dsv4_hc_pre. Anteriormente, estos kernels tenían hc = 4 codificado, lo que hacía que las operaciones con otros recuentos de cabezas retrocedieran a la ejecución en CPU.

El cambio pasa n_hc como una constante de función y realiza un bucle sobre ella en ambos kernels previos con cargas directas.
Se agregaron casos de prueba-backend-ops para valores de hc de 1, 2, 3, 5, 8 y 65, cubriendo tanto escenarios con gating como sin gating.
Esta actualización permite que modelos como Kimi-K3 se ejecuten de manera eficiente en GPU al admitir recuentos de checkpoints en bancos dinámicos en la pila residual entre capas cruzadas.

El lanzamiento incluye binarios para macOS, Linux, Windows, Android y openEuler a través de varios backends de hardware que incluyen CPU, CUDA, ROCm, Vulkan, OpenVINO y SYCL.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b11122 extiende la fusión MMVQ GLU y añade nuevas fusiones SYCL

El proyecto llama.cpp ha lanzado la versión b11122, que incluye actualizaciones significativas para el backend SYCL. El lanzamiento extiende la fusión MMVQ GLU para soportar tipos de cuantización mixtos e introduce nuevas fusiones para las operaciones rms_norm+scale y ssm_conv+silu.

github llama.cpp · hace 1 h · 11 vistas En vivo

llama.cpp b11120 oculta símbolos internos de Vulkan para corregir la destrucción del estado

El proyecto llama.cpp lanzó la versión b11120, que corrige un error crítico en el backend de Vulkan ocultando los símbolos internos. Este cambio evita problemas de destrucción del estado por duplicate-dlopen que ocurrían cuando se exportaban los símbolos internos.

arxiv arXiv cs.AI · hace 4 h · 9 vistas

CliffCompaction reduce los costos de los agentes de codificación en un 50 % mientras mantiene el rendimiento

Los investigadores presentan CliffCompaction, una técnica de autocompacción diseñada para reducir los costos de los agentes de codificación de largo alcance hasta en un 50 % bajo un contexto acotado. El método mantiene o mejora el rendimiento en Terminal-Bench y logra resultados de última generación en KernelBench al mantener la información compactada fiel mediante truncamiento en lugar de reformulación.

arxiv arXiv cs.LG · hace 5 h · 9 vistas

CliffCompaction reduce los costos de agentes de codificación de largo alcance hasta en un 50% mientras mantiene el rendimiento

Los investigadores presentan CliffCompaction, una técnica de autocompacción diseñada para agentes que manejan millones de tokens, la cual reduce los costos hasta en un 50% bajo contexto acotado. El método mantiene o mejora el rendimiento en Terminal-Bench y logra resultados de vanguardia en KernelBench al mantener la información fiel mediante truncamiento en lugar de reformulación.

github llama.cpp · hace 6 h · 13 vistas

llama.cpp b11118 introduce un caché DMA de mapeo directo para el manejo de máscaras FA de HVX

El proyecto llama.cpp ha lanzado la compilación b11118, que incluye una nueva función hex-dma que introduce un caché DMA de mapeo directo mejor adaptado para el manejo de máscaras FA de Hexagon Vector eXtended (HVX).