github llama.cpp · hace 1 d · inference

llama.cpp b10872 corrige el operando izquierdo nulo en la búsqueda de plantillas Jinja

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10872, que incluye una corrección para el manejo de plantillas Jinja. La actualización aborda un problema donde las plantillas que asignan por defecto una variable opcional a none y prueban su pertenencia en un mapa previamente generaban un error.

Trata un operando izquierdo nulo de 'in' como una búsqueda simple, coincidiendo con el comportamiento estándar de Jinja.
Resuelve errores en plantillas que prueban la pertenencia de variables indefinidas contra mapas.
Proporciona binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm) y openEuler.

Este cambio asegura la compatibilidad de plantillas con la semántica estándar de Jinja para variables indefinidas.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10889 evita la asignación de caché V para el indexador

El proyecto llama.cpp ha lanzado la compilación b10889, que incluye una optimización de memoria para evitar asignar el caché V para el indexador ya que no se utiliza.

github llama.cpp · hace 2 h · 1 vista

llama.cpp b10888 añade etiquetas de depuración de búfer de comandos para perfiles de GPU

El proyecto llama.cpp ha lanzado la compilación b10888, que incluye una nueva función para agregar etiquetas de depuración de búfer de comandos para perfiles de GPU en el backend de Vulkan.

github llama.cpp · hace 3 h · 1 vista

llama.cpp b10886 añade soporte de intrínsecos vectoriales Q1_0 para s390x

El proyecto llama.cpp lanzó la compilación b10886, que introduce el soporte de intrínsecos vectoriales Q1_0 para la arquitectura s390x. Esta actualización incluye la implementación de `ggml_vec_dot_q1_0_q8_0` y actualiza la documentación para reflejar la nueva capacidad.

github llama.cpp · hace 17 h · 1 vista

llama.cpp b10883 corrige la multiplicación de matrices Vulkan y restaura las optimizaciones de Ampere

El proyecto llama.cpp lanzó la compilación b10883, que incluye actualizaciones significativas en el backend de Vulkan. El cambio principal implica el uso de constantes de especificación para operaciones de multiplicación matriz-matriz tipo A para mejorar la compilación y el rendimiento de los shaders.

media r/LocalLLaMA · hace 20 h · 1 vista

gtrg55 lanza la versión cuantizada en INT4 de NVIDIA Cosmos3 64B para generación de imágenes local

Un usuario ha publicado código y pesos para ejecutar el modelo Cosmos3 de NVIDIA con 64 mil millones de parámetros localmente utilizando cuantización INT4. La implementación soporta tareas de Texto a Imagen e Imagen a Video en Apple Silicon vía MLX, así como CUDA.