github llama.cpp · hace 1 h · inference

llama.cpp v0.1.2 añade optimizaciones CUDA MMVQ y hash SHA256 de mtmd

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión 0.1.2, que incluye una sincronización con ggml (actualizado a 0.20.2) y varias actualizaciones en los componentes del servidor y la interfaz de usuario.

CUDA: MMVQ nwarps=8 para bs=1 para modelos densos en DGX Spark.
mtmd: usar sha256 para el hash de entrada.
vocab: soporte para puntuaciones enteras del tokenizador.
mtmd: omitir miniaturas para imágenes LFM2 no agrupadas.
server: guardar fragmentos procesados de mtmd como marcador de posición.
ui: imponer orden alfabético de miembros de enumeración y refactorizar el nombre de Herramientas Integradas.

Esta versión también aborda limpiezas de compilación para xcframework + cmake y actualiza los procesos de CI para la generación de versiones preliminares.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

MLX v0.32.1 añade soporte para dimensión de cabeza 72 en atención completa de Metal

La biblioteca MLX lanzó la versión 0.32.1, introduciendo soporte para una dimensión de cabeza de 72 dentro de su implementación de atención completa de Metal.

lab Hugging Face Blog · hace 16 h

El asignador de GPU consciente de restricciones mejora la utilización y la salida ponderada por prioridad frente a FIFO

Se evaluó un asignador de GPU consciente de restricciones frente a un programador FIFO en siete escenarios, logrando hasta 33 puntos porcentuales más de utilización de GPU y hasta un 105 % más de salida ponderada por prioridad en hardware idéntico. El sistema trata la demanda de inferencia en tiempo real como una curva fluctuante en lugar de una reserva estática, permitiendo que trabajos similares a lotes llenen la capacidad durante los valles mientras respeta restricciones estrictas como bloques contiguos de GPU y no preemption.

github llama.cpp · hace 18 h

llama.cpp b10472 omite la anulación de UMA para compilaciones HIP

El proyecto llama.cpp lanzó la compilación b10472, que incluye una corrección para omitir la anulación de la Arquitectura de Memoria Unificada (UMA) para compilaciones HIP. Este cambio aborda un problema donde las Unidades de Procesamiento Acelerado (APU) de AMD informaban información de memoria inexacta a través de hipMemGetInfo.

media Hugging Face Forums · hace 1 d · 9 vistas

El prototipo SpiralCoreAttention selecciona bloques de tokens para el ajuste fino QLoRA de secuencias largas

Un desarrollador busca comentarios sobre SpiralCoreAttention, un prototipo experimental de selección de contexto durante el entrenamiento para el ajuste fino de LLM de pesos abiertos. En lugar de procesar secuencias largas completas en cada pasada hacia adelante y hacia atrás, el sistema selecciona bloques específicos de tokens de la secuencia para entrenar, mientras evalúa el adaptador resultante en secuencias de contexto completo retenidas.

github llama.cpp · hace 1 d · 17 vistas

llama.cpp b10456 corrige el recuento de hilos de SYCL para una ganancia de rendimiento 7x en Arc 70

El proyecto llama.cpp lanzó la versión b10456, que incluye una corrección crítica para el backend SYCL en los lanzamientos del kernel de copia cuantizada. La actualización ajusta los recuentos de hilos y bloques para que sean proporcionales al tamaño de la cuantización, reduciendo efectivamente los problemas de subasignación y sobreasignación.