github llama.cpp · hace 1 h · inference

llama.cpp b10472 omite la anulación de UMA para compilaciones HIP

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10472, que incluye una corrección para omitir la anulación de la Arquitectura de Memoria Unificada (UMA) para compilaciones HIP. Este cambio aborda un problema donde las Unidades de Procesamiento Acelerado (APU) de AMD informaban información de memoria inexacta a través de hipMemGetInfo.

La actualización resuelve el problema de GitHub #18159 evitando que MemAvailable prometa demasiado en sistemas con particiones pequeñas.
Las compilaciones de macOS Apple Silicon con KleidiAI están deshabilitadas en esta versión.
El soporte para Ubuntu ROCm 7.14 también está deshabilitado.
Se proporcionan binarios para Linux, Windows, Android y macOS a través de CPU, CUDA, Vulkan, OpenVINO, SYCL y otros backends.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

El prototipo SpiralCoreAttention selecciona bloques de tokens para el ajuste fino QLoRA de secuencias largas

Un desarrollador busca comentarios sobre SpiralCoreAttention, un prototipo experimental de selección de contexto durante el entrenamiento para el ajuste fino de LLM de pesos abiertos. En lugar de procesar secuencias largas completas en cada pasada hacia adelante y hacia atrás, el sistema selecciona bloques específicos de tokens de la secuencia para entrenar, mientras evalúa el adaptador resultante en secuencias de contexto completo retenidas.

github llama.cpp · hace 11 h · 7 vistas

llama.cpp b10456 corrige el recuento de hilos de SYCL para una ganancia de rendimiento 7x en Arc 70

El proyecto llama.cpp lanzó la versión b10456, que incluye una corrección crítica para el backend SYCL en los lanzamientos del kernel de copia cuantizada. La actualización ajusta los recuentos de hilos y bloques para que sean proporcionales al tamaño de la cuantización, reduciendo efectivamente los problemas de subasignación y sobreasignación.

media r/LocalLLaMA · hace 1 d · 10 vistas

NVIDIA sirve Qwen 3.8 2.4T en GB300 NVL72 a 4K tokens/s por GPU

NVIDIA ha demostrado servir el modelo de parámetros Qwen 3.8 2.4T con capacidades de razonamiento configurables en su plataforma de hardware GB300 NVL72.

github llama.cpp · hace 2 d · 14 vistas

llama.cpp añade soporte para el modelo Kimi-K3 con reempaquetado MXFP4 y plantilla de chat

El proyecto llama.cpp ha añadido soporte para el modelo de texto Kimi-K3, implementando su arquitectura de atención híbrida KDA (lineal) + MLA (completa) junto con cinco características arquitectónicas específicas ausentes en el antiguo Kimi-Linear-48B.

github llama.cpp · hace 2 d · 14 vistas

llama.cpp b10447 rediseña el modelo de hilos yield_to_queue

El proyecto llama.cpp ha lanzado la compilación b10447, que incluye un rediseño del modelo de hilos `yield_to_queue`. Este cambio implica ejecutar `common_speculative_process` en el trabajador y cambiar el diseño del hilo trabajador al principal.