github llama.cpp · hace 2 h · inference

llama.cpp b10814 amplía la cobertura de operaciones elementales y movimiento de datos de OpenCL

Traducido del English → Español

La versión llama.cpp b10814 amplía el soporte del backend de OpenCL añadiendo nueve nuevas operaciones unarias elementales y mejorando los núcleos de movimiento de datos.

Se añadieron operaciones unarias elementales extendidas, incluyendo sgn, step, elu, hardswish, hardsigmoid, floor, ceil, round y trunc para evitar la caída en CPU.
Se implementó un núcleo de copia f32 contiguo que se distribuye por todo el dispositivo para movimientos lineales, optimizando el rendimiento para tensores con pocas filas largas.
Se amplió el soporte de CONCAT a todos los tipos de fácil copia (f16, bf16, i8, i16, i32, i64) claveando los núcleos en el tamaño del elemento en lugar del tipo específico.

Estos cambios mejoran la cobertura y eficiencia de OpenCL para backends no-CPU en macOS, Linux, Windows y Android.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10813 añade la ruta Adreno xmem SDPA y corrige errores numéricos

El proyecto llama.cpp lanzó la compilación b10813, que introduce una implementación de OpenCL para GPUs Adreno utilizando la ruta xmem SDPA (Scaled Dot-Product Attention). Esta actualización también aborda errores numéricos en los mecanismos GQA y atención enmascarada.

github llama.cpp · hace 2 h · 1 vista

llama.cpp b10816 añade ajustes fa-vec para M3 y nuevos binarios

El proyecto llama.cpp ha lanzado la versión b10816, que incluye actualizaciones al backend Metal para dispositivos Apple Silicon. El lanzamiento se centra en añadir los ajustes restantes de fast-vector específicamente para la arquitectura del chip M3.

github llama.cpp · hace 2 h · 1 vista

llama.cpp 0.4.0 añade soporte para Qwen3.8-Flash-Next y Nemotron-3-Puzzle

llama.cpp versión 0.4.0 introduce soporte de arquitectura inicial para los modelos Qwen3.8-Flash-Next y NVIDIA Nemotron-3-Puzzle-75B-A9B, junto con una actualización de la biblioteca subyacente ggml a la versión 0.23.0.

github llama.cpp · hace 8 h · 1 vista

llama.cpp b10798 hace configurable el flujo de salida de la información de compilación

El proyecto llama.cpp lanzó la versión b10798, introduciendo un cambio para hacer configurable el flujo de salida de la información de compilación. Esta actualización permite que `llama_print_build_info` escriba en un FILE* proporcionado por el llamador en lugar de codificar stderr de forma fija.

github llama.cpp · hace 16 h · 1 vista

llama.cpp b10796 añade n_expert_used_max para corregir la carga de Nemotron-3-Puzzle

El proyecto llama.cpp lanzó la compilación b10796, que incluye un cambio en el cargador de modelos para admitir modelos con diferentes números de expertos por capa.