github llama.cpp · hace 1 h · inference

llama.cpp b10456 corrige el recuento de hilos de SYCL para una ganancia de rendimiento 7x en Arc 70

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10456, que incluye una corrección crítica para el backend SYCL en los lanzamientos del kernel de copia cuantizada. La actualización ajusta los recuentos de hilos y bloques para que sean proporcionales al tamaño de la cuantización, reduciendo efectivamente los problemas de subasignación y sobreasignación.

Corrige el recuento de hilos/bloques en los lanzamientos del kernel cpy cuantizado (PR #27160).
El rendimiento para la ruta q4_0 -> f32 en un Arc 70 aumenta de 20.21 GB/s a 158.19 GB/s.
Otras rutas de cuantización muestran aumentos planos de rendimiento.
Los binarios están disponibles para macOS, Linux, Windows, Android y openEuler a través de los backends CPU, CUDA, Vulkan, ROCm, OpenVINO y SYCL.

Este cambio mejora significativamente la eficiencia de la transferencia de datos en las GPUs Intel Arc que utilizan el backend SYCL, abordando un cuello de botella importante en las operaciones cuantizadas.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

El prototipo SpiralCoreAttention selecciona bloques de tokens para el ajuste fino QLoRA de secuencias largas

Un desarrollador busca comentarios sobre SpiralCoreAttention, un prototipo experimental de selección de contexto durante el entrenamiento para el ajuste fino de LLM de pesos abiertos. En lugar de procesar secuencias largas completas en cada pasada hacia adelante y hacia atrás, el sistema selecciona bloques específicos de tokens de la secuencia para entrenar, mientras evalúa el adaptador resultante en secuencias de contexto completo retenidas.

media r/LocalLLaMA · hace 14 h · 8 vistas

NVIDIA sirve Qwen 3.8 2.4T en GB300 NVL72 a 4K tokens/s por GPU

NVIDIA ha demostrado servir el modelo de parámetros Qwen 3.8 2.4T con capacidades de razonamiento configurables en su plataforma de hardware GB300 NVL72.

github llama.cpp · hace 1 d · 9 vistas

llama.cpp añade soporte para el modelo Kimi-K3 con reempaquetado MXFP4 y plantilla de chat

El proyecto llama.cpp ha añadido soporte para el modelo de texto Kimi-K3, implementando su arquitectura de atención híbrida KDA (lineal) + MLA (completa) junto con cinco características arquitectónicas específicas ausentes en el antiguo Kimi-Linear-48B.

github llama.cpp · hace 2 d · 10 vistas

llama.cpp b10447 rediseña el modelo de hilos yield_to_queue

El proyecto llama.cpp ha lanzado la compilación b10447, que incluye un rediseño del modelo de hilos `yield_to_queue`. Este cambio implica ejecutar `common_speculative_process` en el trabajador y cambiar el diseño del hilo trabajador al principal.

github llama.cpp · hace 2 d · 9 vistas

llama.cpp b10444 añade soporte para modelos asistente MTP y elimina eagle3

El proyecto llama.cpp ha lanzado la versión b10444, introduciendo soporte para cargar modelos asistente de Predicción Multi-Tokens (MTP) a través de la bandera `--models-dir`. Esta actualización también incluye una verificación estricta de prefijos para modelos MTP en las preconfiguraciones y elimina el soporte para el tipo de borrador eagle3.