github llama.cpp · hace 1 d · inference

llama.cpp b11100 corrige el error del analizador de llamadas a herramientas de Muse Glimmer

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b11100, que aborda un problema específico de análisis con el modelo Muse Glimmer. El cambio principal implica corregir el primer error del analizador encontrado durante la ejecución de la llamada a la herramienta para este modelo.

Corrige el primer error del analizador de llamadas a herramientas de Muse Glimmer
Añade una prueba para verificar la corrección
Condensa patrones y elimina la prueba para patrones de activación

Esta versión proporciona binarios actualizados para macOS, Linux, Windows, Android e iOS en varios backends de hardware que incluyen CPU, CUDA, ROCm, Vulkan y OpenVINO.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b11122 extiende la fusión MMVQ GLU y añade nuevas fusiones SYCL

El proyecto llama.cpp ha lanzado la versión b11122, que incluye actualizaciones significativas para el backend SYCL. El lanzamiento extiende la fusión MMVQ GLU para soportar tipos de cuantización mixtos e introduce nuevas fusiones para las operaciones rms_norm+scale y ssm_conv+silu.

github llama.cpp · hace 1 h · 11 vistas En vivo

llama.cpp b11120 oculta símbolos internos de Vulkan para corregir la destrucción del estado

El proyecto llama.cpp lanzó la versión b11120, que corrige un error crítico en el backend de Vulkan ocultando los símbolos internos. Este cambio evita problemas de destrucción del estado por duplicate-dlopen que ocurrían cuando se exportaban los símbolos internos.

arxiv arXiv cs.AI · hace 4 h · 9 vistas

CliffCompaction reduce los costos de los agentes de codificación en un 50 % mientras mantiene el rendimiento

Los investigadores presentan CliffCompaction, una técnica de autocompacción diseñada para reducir los costos de los agentes de codificación de largo alcance hasta en un 50 % bajo un contexto acotado. El método mantiene o mejora el rendimiento en Terminal-Bench y logra resultados de última generación en KernelBench al mantener la información compactada fiel mediante truncamiento en lugar de reformulación.

arxiv arXiv cs.LG · hace 5 h · 9 vistas

CliffCompaction reduce los costos de agentes de codificación de largo alcance hasta en un 50% mientras mantiene el rendimiento

Los investigadores presentan CliffCompaction, una técnica de autocompacción diseñada para agentes que manejan millones de tokens, la cual reduce los costos hasta en un 50% bajo contexto acotado. El método mantiene o mejora el rendimiento en Terminal-Bench y logra resultados de vanguardia en KernelBench al mantener la información fiel mediante truncamiento en lugar de reformulación.

github llama.cpp · hace 6 h · 13 vistas

llama.cpp b11118 introduce un caché DMA de mapeo directo para el manejo de máscaras FA de HVX

El proyecto llama.cpp ha lanzado la compilación b11118, que incluye una nueva función hex-dma que introduce un caché DMA de mapeo directo mejor adaptado para el manejo de máscaras FA de Hexagon Vector eXtended (HVX).