github llama.cpp · hace 1 h · inference

llama.cpp b10642 añade seguimiento de ID de token a la celda KV

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10642, que introduce un cambio para rastrear los IDs de token dentro de la celda de clave-valor (KV).

La actualización principal implica añadir el seguimiento del ID de token a la implementación de la celda KV.
La función `get_prev_tokens` fue eliminada de este commit específico y movida al pull request principal #27762.
Se proporcionan binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL) y openEuler.

Esta versión proporciona binarios actualizados en múltiples plataformas con la modificación interna de la celda KV.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10638 añade Vulkan cross_entropy_loss y lanza binarios

El proyecto llama.cpp ha lanzado la versión b10638, que implementa soporte de Vulkan para las funciones `cross_entropy_loss` y `cross_entropy_loss_back`.

github llama.cpp · hace 6 h · 2 vistas

llama.cpp b10639 corrige la suposición del tamaño de warptile en Vulkan

El proyecto llama.cpp lanzó la compilación b10639, que incluye una corrección para el backend de Vulkan donde las warptiles asumían previamente que los tamaños de warp eran menores o iguales a 64. Este cambio limita el tamaño de warp para evitar problemas con warps más grandes.

media Hugging Face Forums · hace 6 h · 1 vista

Celestium Neon corrige el OOM de SDXL en GPUs de 4 GB limpiando la VRAM

Celestium Neon es una nueva herramienta diseñada para limpiar la VRAM y permitir la inferencia de Stable Diffusion XL (SDXL) en tarjetas gráficas con solo 4 GB de memoria, como la GTX 1650.

github llama.cpp · hace 10 h · 2 vistas

llama.cpp b10636 desactiva la compilación de la interfaz npm por defecto y limpia CI

El proyecto llama.cpp lanzó la versión b10636, que cambia el comportamiento predeterminado al compilar la interfaz web. La compilación de la interfaz basada en npm ahora está desactivada por defecto (LLAMA_BUILD_UI=OFF), y la interfaz se incrusta desde fuentes locales o descargas preconstruidas.

github llama.cpp · hace 11 h · 1 vista

llama.cpp b10635 desbloquea mmq para MoE en sm_60

El proyecto llama.cpp lanzó la versión b10635, que incluye actualizaciones específicas de soporte para CUDA. El cambio principal es el desbloqueo de la multiplicación de matrices de precisión mixta (mmq) para arquitecturas Mixture of Experts (MoE) en GPUs con capacidad de cómputo 6.0 (sm_60).