github llama.cpp · hace 2 h · inference

llama.cpp b10589 añade soporte para CUDA POOL_1D

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10589, que introduce el soporte para CUDA POOL_1D a través del pull request #27573. Esta actualización también incluye una corrección para el cumplimiento de editorconfig añadiendo un salto de línea final faltante.

El lanzamiento proporciona binarios para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Windows (x64 y arm64) y Android. Los backends soportados incluyen CPU, CUDA 12/13, Vulkan, ROCm 7.14, OpenVINO, SYCL y OpenCL Adreno.

Este lanzamiento permite a los usuarios ejecutar llama.cpp en una amplia gama de arquitecturas de hardware y sistemas operativos con la nueva capacidad de agrupamiento.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10587 añade PAD_REFLECT_1D al backend de Vulkan

El proyecto llama.cpp lanzó la compilación b10587, que introduce la operación GGML_OP_PAD_REFLECT_1D en el backend de Vulkan. Esta actualización implementa el shader de cómputo GLSL necesario y lo registra para la compilación SPIR-V dentro del módulo ggml-vulkan.

github llama.cpp · hace 18 h · 2 vistas

llama.cpp b10584 corrige el tamaño del contexto de borrador para evitar errores 500 del servidor

El proyecto llama.cpp lanzó la compilación b10584, abordando un problema crítico donde el tamaño del contexto de borrado no coincidía con el contexto objetivo, causando que las solicitudes del servidor fallaran con errores 500.

media Hugging Face Forums · hace 21 h · 4 vistas

Xyntetik Runner entrena LoRA directamente con pesos GGUF cuantizados

Joakimpalm-Zen ha actualizado Xyntetik Runner para entrenar adaptadores LoRA directamente utilizando los mismos pesos GGUF cuantizados que sirve para inferencia, eliminando la necesidad de una copia de entrenamiento FP16 separada o un tiempo de ejecución adicional.

github llama.cpp · hace 23 h · 2 vistas

llama.cpp b10581 añade soporte para DSpark en bailinmoe3

El proyecto llama.cpp ha lanzado la compilación b10581, que introduce soporte para el backend DSpark para habilitar el modelo bailinmoe3.

github llama.cpp · hace 1 d · 1 vista

ggml optimiza la operación de concatenación reemplazando memcpy por elemento con memcpy a nivel de fila

La biblioteca ggml ha optimizado su operación de concatenación reemplazando copias de memoria por elemento con operaciones de memcpy a nivel de fila. Este cambio es parte de la versión b10578 de llama.cpp, que incluye varios binarios específicos de plataforma y actualizaciones al grafo de cálculo subyacente.