github llama.cpp · ahora mismo · inference

llama.cpp b10587 añade PAD_REFLECT_1D al backend de Vulkan

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10587, que introduce la operación GGML_OP_PAD_REFLECT_1D en el backend de Vulkan. Esta actualización implementa el shader de cómputo GLSL necesario y lo registra para la compilación SPIR-V dentro del módulo ggml-vulkan.

Implementada la lógica PAD_REFLECT_1D en pad_reflect_1d.comp y actualizado vulkan-shaders-gen.cpp para el registro.
Actualizado ggml-vulkan.cpp para manejar constantes, creación de pipelines, funciones de envío y validación de depuración para la nueva operación.
Validada la corrección en Intel Iris Xe con Vulkan 1.4 y Mesa 25.2.8, pasando todos los casos de prueba.
Proporcionados benchmarks de rendimiento que muestran tiempos de ejecución desde 5.38 us/run hasta 158.31 us/run en varias formas de tensores.

Esta versión habilita el uso de relleno por reflexión en tareas de inferencia aceleradas por Vulkan y proporciona binarios para las plataformas macOS, Linux, Windows, Android y openEuler.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10584 corrige el tamaño del contexto de borrador para evitar errores 500 del servidor

El proyecto llama.cpp lanzó la compilación b10584, abordando un problema crítico donde el tamaño del contexto de borrado no coincidía con el contexto objetivo, causando que las solicitudes del servidor fallaran con errores 500.

media Hugging Face Forums · hace 8 h · 1 vista

Xyntetik Runner entrena LoRA directamente con pesos GGUF cuantizados

Joakimpalm-Zen ha actualizado Xyntetik Runner para entrenar adaptadores LoRA directamente utilizando los mismos pesos GGUF cuantizados que sirve para inferencia, eliminando la necesidad de una copia de entrenamiento FP16 separada o un tiempo de ejecución adicional.

github llama.cpp · hace 10 h · 1 vista

llama.cpp b10581 añade soporte para DSpark en bailinmoe3

El proyecto llama.cpp ha lanzado la compilación b10581, que introduce soporte para el backend DSpark para habilitar el modelo bailinmoe3.

github llama.cpp · hace 12 h · 1 vista

ggml optimiza la operación de concatenación reemplazando memcpy por elemento con memcpy a nivel de fila

La biblioteca ggml ha optimizado su operación de concatenación reemplazando copias de memoria por elemento con operaciones de memcpy a nivel de fila. Este cambio es parte de la versión b10578 de llama.cpp, que incluye varios binarios específicos de plataforma y actualizaciones al grafo de cálculo subyacente.

github llama.cpp · hace 13 h · 1 vista

llama.cpp b10576 añade núcleos MMVQ reordenados Q2_K y ESIMD para SYCL

El proyecto llama.cpp ha lanzado la compilación b10576, que vuelve a añadir los núcleos MMVQ reordenados Q2_K y ESIMD para el soporte de SYCL. Este cambio revierte efectivamente un commit anterior que había eliminado estas implementaciones específicas de núcleos.