github llama.cpp · hace 2 h · inference

llama.cpp b10813 añade la ruta Adreno xmem SDPA y corrige errores numéricos

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10813, que introduce una implementación de OpenCL para GPUs Adreno utilizando la ruta xmem SDPA (Scaled Dot-Product Attention). Esta actualización también aborda errores numéricos en los mecanismos GQA y atención enmascarada.

Añadida la ruta Adreno xmem SDPA para aceleración OpenCL.
Eliminada la anulación de perfilado de colas específica de Adreno.
Corregidos errores numéricos en GQA y atención enmascarada.
Introducida la variable de entorno GGML_OPENCL_XMEM_SDPA para controlar la función.

El lanzamiento proporciona binarios para macOS, Linux, Windows, Android y openEuler a través de backends de CPU, GPU y hardware especializado.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10814 amplía la cobertura de operaciones elementales y movimiento de datos de OpenCL

La versión llama.cpp b10814 amplía el soporte del backend de OpenCL añadiendo nueve nuevas operaciones unarias elementales y mejorando los núcleos de movimiento de datos.

github llama.cpp · hace 2 h · 1 vista

llama.cpp b10816 añade ajustes fa-vec para M3 y nuevos binarios

El proyecto llama.cpp ha lanzado la versión b10816, que incluye actualizaciones al backend Metal para dispositivos Apple Silicon. El lanzamiento se centra en añadir los ajustes restantes de fast-vector específicamente para la arquitectura del chip M3.

github llama.cpp · hace 2 h · 1 vista

llama.cpp 0.4.0 añade soporte para Qwen3.8-Flash-Next y Nemotron-3-Puzzle

llama.cpp versión 0.4.0 introduce soporte de arquitectura inicial para los modelos Qwen3.8-Flash-Next y NVIDIA Nemotron-3-Puzzle-75B-A9B, junto con una actualización de la biblioteca subyacente ggml a la versión 0.23.0.

github llama.cpp · hace 8 h · 1 vista

llama.cpp b10798 hace configurable el flujo de salida de la información de compilación

El proyecto llama.cpp lanzó la versión b10798, introduciendo un cambio para hacer configurable el flujo de salida de la información de compilación. Esta actualización permite que `llama_print_build_info` escriba en un FILE* proporcionado por el llamador en lugar de codificar stderr de forma fija.

github llama.cpp · hace 16 h · 1 vista

llama.cpp b10796 añade n_expert_used_max para corregir la carga de Nemotron-3-Puzzle

El proyecto llama.cpp lanzó la compilación b10796, que incluye un cambio en el cargador de modelos para admitir modelos con diferentes números de expertos por capa.