github llama.cpp · hace 2 d · inference

llama.cpp b11080 permite regex en el filtro -o y detiene el registro de cortes de vectores FA

Traducido del English → Español

La versión llama.cpp b11080 actualiza las operaciones del backend de prueba para soportar expresiones regulares en el filtro `-o`, permitiendo la coincidencia de patrones para nombres de operaciones mientras preserva las coincidencias exactas para nombres simples. También modifica la herramienta `cont` para dejar de imprimir registros de cortes de vectores Fast Attention cuando no son necesarios.

El filtro `-o` ahora trata las entradas no simples como expresiones regulares (por ejemplo, "MUL_MAT.*") contra los nombres de operaciones, mientras que los nombres simples como "ADD" permanecen como coincidencias exactas.
El texto de ayuda para `tests/test-backend-ops` ha sido reformateado con secciones separadas para modos, opciones y ejemplos.
Se proporcionan binarios para macOS, Linux, Windows, Android e iOS para los backends CPU, CUDA, ROCm, Vulkan, OpenVINO y SYCL.

Esta versión proporciona binarios actualizados en múltiples plataformas y mejora la flexibilidad del filtrado de pruebas.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Artículos relacionados

github llama.cpp · ahora mismo · 1 vista En vivo

llama.cpp b11122 extiende la fusión MMVQ GLU y añade nuevas fusiones SYCL

El proyecto llama.cpp ha lanzado la versión b11122, que incluye actualizaciones significativas para el backend SYCL. El lanzamiento extiende la fusión MMVQ GLU para soportar tipos de cuantización mixtos e introduce nuevas fusiones para las operaciones rms_norm+scale y ssm_conv+silu.

github llama.cpp · hace 1 h · 11 vistas En vivo

llama.cpp b11120 oculta símbolos internos de Vulkan para corregir la destrucción del estado

El proyecto llama.cpp lanzó la versión b11120, que corrige un error crítico en el backend de Vulkan ocultando los símbolos internos. Este cambio evita problemas de destrucción del estado por duplicate-dlopen que ocurrían cuando se exportaban los símbolos internos.

arxiv arXiv cs.AI · hace 4 h · 9 vistas

CliffCompaction reduce los costos de los agentes de codificación en un 50 % mientras mantiene el rendimiento

Los investigadores presentan CliffCompaction, una técnica de autocompacción diseñada para reducir los costos de los agentes de codificación de largo alcance hasta en un 50 % bajo un contexto acotado. El método mantiene o mejora el rendimiento en Terminal-Bench y logra resultados de última generación en KernelBench al mantener la información compactada fiel mediante truncamiento en lugar de reformulación.

arxiv arXiv cs.LG · hace 5 h · 9 vistas

CliffCompaction reduce los costos de agentes de codificación de largo alcance hasta en un 50% mientras mantiene el rendimiento

Los investigadores presentan CliffCompaction, una técnica de autocompacción diseñada para agentes que manejan millones de tokens, la cual reduce los costos hasta en un 50% bajo contexto acotado. El método mantiene o mejora el rendimiento en Terminal-Bench y logra resultados de vanguardia en KernelBench al mantener la información fiel mediante truncamiento en lugar de reformulación.

github llama.cpp · hace 6 h · 13 vistas

llama.cpp b11118 introduce un caché DMA de mapeo directo para el manejo de máscaras FA de HVX

El proyecto llama.cpp ha lanzado la compilación b11118, que incluye una nueva función hex-dma que introduce un caché DMA de mapeo directo mejor adaptado para el manejo de máscaras FA de Hexagon Vector eXtended (HVX).