github llama.cpp · ahora mismo · inference

llama.cpp b10792 corrige la generación de gramática GBNF para esquemas de objetos vacíos

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10792, que incluye una corrección para la generación de gramática GBNF abordando específicamente problemas con esquemas de objetos vacíos.

Esta versión proporciona binarios y marcos de trabajo para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Android, Windows y openEuler en varios backends de hardware que incluyen CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL y OpenCL.

La actualización asegura la generación correcta de gramática para esquemas de objetos vacíos en GBNF.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10791 añade optimizaciones de GEMV para descodificación y lm_head cuantificado con OpenCL

El proyecto llama.cpp lanzó la versión b10791, introduciendo optimizaciones significativas de OpenCL para cabezales de modelos de lenguaje cuantificados y operaciones de GEMV de descodificación. Esta actualización también incluye mejoras de GEMM en lotes medianos relevantes para la descodificación especulativa y la predicción de múltiples tokens.

github llama.cpp · hace 2 h · 1 vista

llama.cpp b10790 ajusta el cruce de MMVQ a MMQ para SM87

El proyecto llama.cpp ha lanzado la compilación b10790, que incluye un ajuste específico del cruce de MMVQ a MMQ para SM87.

media r/LocalLLaMA · hace 7 h · 1 vista

IFM lanza K2-Horizon-MoVA-36B-A4B, un modelo MoE disperso con 4B de parámetros activos

IFM ha lanzado el checkpoint final para K2-Horizon-MoVA-36B-A4B, un modelo Mixture-of-Experts que presenta atención Mixture-of-Values y almacena 36B de parámetros pero ejecuta solo 4B por token. El lanzamiento incluye formatos GGUF y enlaces a variantes más pequeñas de la familia K2-Horizon.

github llama.cpp · hace 9 h · 2 vistas

llama.cpp añade soporte de atención flash dispersa para el prellenado con Metal

El proyecto llama.cpp ha introducido soporte de atención flash dispersa (FA) para el backend de Metal, dirigido específicamente a la fase de prellenado de la inferencia del modelo. Esta actualización incluye un nuevo kernel que compacta las entradas de máscara finita en listas de índices por fila y extiende el kernel de FA vectorial con recolección opcional de índices dispersos.

github llama.cpp · hace 10 h · 2 vistas

llama.cpp b10782 corrige la optimización de gráficos CUDA para múltiples GPU

El proyecto llama.cpp lanzó la compilación b10782, que aborda un problema crítico en el backend de CUDA para configuraciones con múltiples GPU. La actualización permite flujos concurrentes por división y habilita que la optimización de gráficos CUDA se ejecute correctamente en múltiples dispositivos.